Task2 集成学习打卡

Task2

(1)请详细阐述线性回归模型最小二乘法表达.

最小二乘估计:衡量真实值y_i与线性回归模型的预测值w^Tx_i之间的差距,我们和使用二范数的平方和L(w)来描述这种差距.然后我们需要找到使得L(w)最小时对应的参数w,求导可以获得.

(2) 在线性回归模型中,极大似然估计与最小二乘法估计有什么联系与区别?

线性回归的最小二乘估计<=>噪声ε~N(0,sigma^2)的MLE.区别是一个是对似然函数取最大,一个是对最小二乘法取最小.

(3)为什么多项式回归再实际问题中表现的经常不是很好?

当多项式的阶数越大时,多项式曲线会越光滑,在X的边界处有异常波动,导致预测效果的确定性下降.在中间有很多数据,在边界数据量小,导致预测结果不准确.

(4)决策树模型与线性模型之间的联系与差别?

每一段都用常数预测,打破了线性模型中的线性假设.线性模型的模型形式与树模型形式有本质区别,线性回归做了如下限定.

线性数据用线性模型,非线性数据树模型.决策树模型解释性更方便,很好地处理缺失值和异常值.这对线性模型是致命的.树模型准确性不高,但有很多改进方法.