9月李宏毅机器学习-学习笔记-Task02-ss

P3 回归

Model

y = wx+b

Goodness of Function

定义一个loss function:输入一个函数,输出这个函数好不好
L(f) = L(w,b)

Best Function

寻找loss的函数

Gradient Descent

(随机)选择初始值
计算损失函数的偏分
使用学习率更新参数
迭代上述23步多次直到不再更新参数

线性回归因为函数为凸函数,必定梯度下降到全局最优

How’s the result, generalization

测试集上误差最小

Regularization

在损失函数中增加一个正则项 \lambda \Sigma w^2 使得w向更小的方向发展,以此使得model更加平滑。

学习率难以到达全局最佳时,可以使用动量法