8月吃瓜教程—task05-学习笔记-ss

第 6 章 支持向量机

6.1 间隔与支持向量

划分超平面的线性方程:image
样本空间到超平面的距离可以写作:image
超平面完美划分样本时可以得到:image
因此可以得到两个异类到达超平面时的距离之和:image,这被称之为间隔。
因此我们希望在划分正确的前提下找到最大间隔的超平面。
即:image
可以重写为:image

6.2 对偶问题

利用拉格朗日乘子法对上述的约束条件做具体化分析,可以得到:
image
令其对 \Omega w 做微分,由于其凸函数的性质,令其等于0可以的到约束式子:
image
将两项约束式子代入前式后可以得到
image
image
求解得出 \alpha 后可以得到模型
image
因为 \alpha 是拉格朗日乘子,对应样本(x,y),因此满足KKT条件,即:image
因此向量机的最大间隔至于数量有限的样本有关,此类样本位于向量机的最大边界上
利用SMO算法固定两个参数后求解其极值来更新 \alpha ,b值可以使用平均值来更新,其中S为所有支持向量的下标集。
image

6.4 软间隔与正则化

为了阻止过拟合,引入软间隔和正则化的方法。
image
其中image
C值有限时,可以允许一些样本不满足约束。由于前者函数的非连续非凸性质,使得软间隔不易直接求解,因此常常映入其他函数来替代损失函数。
image
使用松弛变量 \xi 来指代损失函数:
image
因此软间隔SVM可以表示为
image
引入拉格朗日乘子法,得到拉格朗日函数为


重复对变量求偏导可以得到约束条件image
因此可以得到对偶问题为:image
同样的KKT条件要求为:image

6.5 支持向量回归

如上节所讲SVR的模型可以化为求解以下数学模型
image
引入松弛变量,并对两边的边界边长以不同的长度定义可以得到:image
约束条件:image
同样经历拉格朗日乘子法与KKT条件后,可以得到SVR的解型为:image