集成学习task01打卡

线性方程组求解—>向量空间

雅可比矩阵: 每一行是一个梯度,将每一个函数的梯度向量记录在一起形成矩阵,包含一阶导数信息

海森举证:是雅可比矩阵的倒数, 包含二阶导数信息

n个向量形成向量组,找到线性无关最多的个数称作极大线性无关组.极大线性无关组的个数称作秩.矩阵的秩越小,变换后得到的图形越小(筛子)

范数是二维向量长度的推广,正定性,齐次性,三角不等性.(1-范数,2-范数,无穷范数)

矩阵范数:正定性,齐次性,三角不等性,相容性(矩阵乘机)

迹:对角线上特征值相加,行列式(变化幅度)的倒数是迹(变化速率)

二次型:行向量矩阵列向量 正定:开口向上 负定:下

随机试验—>随机变量—>(分布列,概率密度函数)—>特征数—>(期望,标准差)

多(有限)随机变量—>随机向量(X1….XN)—>(分布列,联合密度函数)—>特征数(期望,方差)—>协方差

无限随机变量—>(大数定律,中心极限定理)

随机变量:函数,随机试验随机性

随机向量:多个随机变量组合

随机过程引入时间变量

马尔科夫性: 未来与现在有关,与过去无关

统计:参数估计,假设检验

样本独立和总体同分布

极大似然估计MLE:最大可能性估计

贝叶斯估计:无穷模型集成,模型中增加不确定性,前人经验,模型压缩

MAP最大后验估计

a>0,b>0 a=3,b=4下载
a>0,b<0 a=3 b=-4下载 (2)
a<0,b<0 a=-3,b=-3下载 (1)
a<0,b>0, a=-3, b=4下载 (3)

作业在网上找到了解决思路…但是不知道具体怎么写…可以用梯度下降算法,随机选择一个点,沿着负梯度方向下降,再选择一个点,沿着负梯度方向下降,一直到找最小值.如果α太大,算法可能会错过最小点,即无法收敛;

参数α(学习率)定义了梯度下降过程中的步长。

它是在 θ 更新期间乘以导数的数字。学习率越大,算法下降到最小值点的速度就越快。

如何应用梯度下降算法:

  • 决定你的成本函数。
  • 为参数选择随机初始值,θ
  • 找到成本函数J 的导数。
  • 选择合适的学习率,α。
  • 更新参数直到收敛。在这里,您找到了最佳θ值,其中您的成本函数J最小。