集成学习 task4

Problem 1

  1. 回归问题通常用来预测一个值,如预测房价、未来的天气情况等等,例如一个产品的实际价格为500元,通过回归分析预测值为499元,我们认为这是一个比较好的回归分析。回归是对真实值的一种逼近预测。

  2. 分类问题是用于将事物打上一个标签,通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗,分类通常是建立在回归之上,分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念,最终正确结果只有一个,错误的就是错误的,不会有相近的概念。最常见的分类方法是逻辑回归。

Problem 2

交叉熵损失函数可以更好度量分类性能。

  • 使用平方误差损失函数,误差增大参数的梯度会增大,但是当误差很大时,参数的梯度就会又减小了。
  • 使用交叉熵损失是函数,误差越大参数的梯度也越大,能够快速收敛。

Problem 5

二次判别分析假设不同类别间x服从高斯分布,且协方差矩阵不同。因此,高斯线性判别的决策边界是一个超平面,而二次判别分析的决策边界是一个超二次曲面。朴素贝叶斯假设类别之间没有关系,即类别之间的协方差矩阵为0,对模型进行简化。