集成学习_task3

方差与偏差理论:

首先 Error = Bias + Variance
Error反映的是整个模型的准确度,Bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,Variance反映的是模型每一次输出结果与模型输出期望之间的误差,即模型的稳定性。

bias:描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距,简单讲,就是在样本上拟合的好不好。要想在bias表现好,就得复杂化模型,增加模型的参数,但这样容易过拟合,过拟合对应的是high variance,点很分散,lpw bias对应就是点都打在靶心附近,所以瞄的是准的,但手不一定稳。
varience:描述的是样本上训练出来的模型在测试集上的表现,要想在variance上表现好,low varience,就要简化模型,减少模型的参数,但这个容易欠拟合,欠拟合对应的是high bias点偏离中心。low variance对应就是点都打的很集中,但不一定是靶心附近,手很稳,但是瞄的不准。