task03 偏差方差理论 笔记

方差偏差分解

参考西瓜书、南瓜书
image


推导前有两个重要的假设前提:

lasso的参数估计:最小角回归(LARS)

降维

目的

  • 通过降维,我们希望减少 冗余信息 所造成的误差,提高识别(或其他应用)的精度 ——去噪
  • 通过降维算法来寻找数据内部的本质结构特征 ——无监督学习

PCA


注意到:

其中 S^2 的详细推导

参数 VS 超参数

1. 参数

模型参数是模型内部的配置变量,其值可以根据数据进行估计。

  • 进行预测时需要参数。
  • 它参数定义了可使用的模型。
  • 参数是从数据估计或获悉的。
  • 参数通常不由编程者手动设置。
  • 参数通常被保存为学习模型的一部分。
  • 参数是机器学习算法的关键,它们通常由过去的训练数据中总结得出 。

2. 超参数

  • 模型超参数是模型外部的配置,其值无法从数据中估计。
  • 超参数通常用于帮助估计模型参数。
  • 超参数通常由人工指定。
  • 超参数通常可以使用启发式设置。
  • 超参数经常被调整为给定的预测建模问题。

调参(待补充)

  1. 网格搜索
  2. 随机搜索
  3. 贝叶斯搜索
    https://zhuanlan.zhihu.com/p/146329121