Task02吃瓜3

机器学习三要素:

  1. 模型:根据具体问题,确定假设空间
  2. 策略:根据评价标准,确定选取最优模型的策略(通常会产出一个“损失函数”)
  3. 算法:求解损失函数,确定最优模型

对于线性回归,有最小二乘法(基于均方误差最小化来进行模型求解)和极大似然估计(使得观测样本出现概率最大的分布,离散、连续均可,可利用对数函数处理),求解w和b可先用海塞矩阵证明损失函数为半正定(实对称矩阵的所有顺序主子式均为非负),即损失函数为w和b的凸函数,再令梯度函数为0即可求解(本质上是一个多元函数求最值问题);对于多元线性回归求解思路相同.

对于二分类问题,引入对数几率函数(任意阶可导的凸函数),用线性回归模型的预测结果去逼近真实标记的对数几率.
对数几率回归算法的机器学习三要素:

  1. 模型:线性模型,输出值的范围为[0,1],近似阶跃的单调可微函数
  2. 策略:极大似然估计,信息论
  3. 算法:梯度下降,牛顿法

二分类线性判别分析:将练样样例投影到一条直线上,使得同类样例的投影点尽可能接近(让同类样例投影点的协方差尽可能小),异类样例的投影点尽可能远离(让类中心之间的距离尽可能大);在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.
只关心方向不关心模长大小(投影).
拉格朗日乘子法求解(高数内容).

1赞