“支持向量机”小结

• 感知机利用 SGD 能保证对线性可分数据集正确分类（无论学习速率为多少）、但它没怎么考虑泛化能力的问题
• 线性 SVM 通过引入间隔（硬、软）最大化的概念来增强模型的泛化能力
• 核技巧能够将线性算法“升级”为非线性算法，通过将原始问题转化为对偶问题能够非常自然地对核技巧进行应用
• 对于一个二分类模型，有许多方法能够直接将它拓展为多分类问题
• SVM 的思想能用于做回归（SVR）；具体而言、SVR 容许模型输出和真值之间存在$\epsilon$的差距以期望提高泛化能力