集成学习task1打卡—ZYT

多元函数的偏导数:梯度向量(Gradient vector):
函数在某店沿着该方向增大的最快的方向;计算式为对函数内的n自变量取n个偏导数
雅克比矩阵(Jacobian):存贮矩阵A的一阶偏导数
海森矩阵(Hessian):存贮矩阵A的二阶偏导数,即也雅克比矩阵的一阶偏导数
鞍点(saddle point):为一阶偏导为0,但是其值比左边(右边)大,但是比右边(左)小

拉格朗日乘子法
线性相关:在二维空间中,线性相关即平面中两个向量平行
极大线性无关组
正交向量(orthogonal vectors):即两个向量垂直,可由线性无关组构造正交向量组

内积:
a = np.array[1,2,3,4]
b = np.array[2,3,4,5]
np.dot(a,b)

正交化

向量的范数:(向量的长度)
正定性(大于0);齐次性(与常数的乘积);三角不等式
1-范数:所有元素的绝对值求和
2-范数:所有元素的平方和,开根号
无穷-范数:所有元素的绝对值最大的那个值

矩阵:
由现行方程组可知,一个向量x经过一个矩阵的变换,到另一个向量y
import numpy as np
A = array([(1,2,3),(4,5,6),(7,8,9),(3,4,8)])
全零矩阵zeros((m,n))
元素都是1的矩阵ones((m,n))
矩阵的乘法: C = np.matmul(A,B)
行列式(determinate):
写作det(A)或 | A | , 一个向量经过一个矩阵A的变换成为另一个向量, 变换后的面积/变换前的面积,变换的幅度

秩(rank):
k个线性无关组代表矩阵的信息,k就是矩阵的秩
矩阵的范数(norm):
1-范数: 列范数
2-范数:普范数
无穷-范数:行范数

特征值与特征向量(eigenvalue, eigenvector):
变换后的拉伸的幅度;不变的方向为特征向量

矩阵的迹(trace):
对角线上元素的和,行列式变换的速度

正定矩阵(positive-definite matrix)
A是正定矩阵时,极小值;A是负定矩阵,极大值
A的所有特征值是正数,则为正定矩阵

概率论与随机过程初步

参数估计parameter estimation:
假设检验Hypothesis Testing: 推荐课外书《女士品茶》

条件概率Conditional probability:

指时间 A在时间B已经发生的条件下所发生的的概率,例如掷骰子时第一次掷到1第二次掷到2的概率就是条件概率。
全概率公式
贝叶斯公式
离散随机变量:在—定区间内变星的取值为无数个或可数个,例如商品个数,人口总数等,主要包括:柏怒利随机变量、二项随机变量、几何随机变晕、泊松随机变星。
伯努利分布、二项分布、泊松分布

泊松概率分布考虑的是在连续时间或空间单位上发生随机事件次数的概率。通俗的解释为:基于过去某个随机事件在某段时间或某个空间内发生的平均次数,预 测该随机事件在未来同样长的时间或同样大的空间内发n生次的概率。泊松分布经常被用于销量较低的商品库存控制,特别是价格昂贵、需求量不大的商品。

连续随机变量:
均匀分布Uniform distribution: 在a与b值之间出现的概率相等
正态分布

协方差Covariance:表示两个变量之间的线性相关性
大数定律Law of large numbers:样本均值收敛到总体均值,
大数定律告诉我们能用频率近似代替概率;能用样本均值近似代替总体均值。

中心极限定理Central-limit theorem:
当样本量足够大时,样本均值的分布慢慢变成正态分布。

中心极限定理是概率论中讨论随机变量序列的分布收敛于正态分布的一类定理

数理统计(极大似然估计)
极大似然估计和贝叶斯估计
总体—样本
估计—点估计
-----区间估计
-----极大似然估计:频率派:参数是确定未知的常数
------贝叶斯估计:贝叶斯派:参数是一个随机变量

极大似然估计(Maximum Likelihood Estimation,MLE)和贝叶斯估计(Bayesian Estimation)是统计推断中两种最常用的参数估计方法,二者在机器学习中的应用也十分广泛。本文将对这两种估计方法做一个详解。

极大似然估计MLE(Maximum Likelihood Estimation):最大可能性估计

贝叶斯估计Bayesian estimation:
为了应对小数据问题,Over fitting问题,集成学习,贝叶斯模型,在模型中融入不确定性,将专家/前人的经验进行应用,

最大后验估计(Maximum A Posteriori estimation,MAP)
Rosenbrock 函数图像绘制代码如下

from mpl_toolkits.mplot3d import Axes3D

import matplotlib.pyplot as plt

import numpy as np

def plot_3d(a ,b ):

fig=plt.figure()

ax=Axes3D(fig)

x1=np.arange(-10,10,0.1)

x2=np.arange(-10,10,0.1)

X1,X2=np.meshgrid(x1,x2)

Y=np.square(a -X1)+b *np.square(X2-np.square(X1))

plt.xlabel(‘x1’)

plt.ylabel(‘x2’)

ax.plot_surface(X1,X2,Y,rstride =1,cstride =2,cmap =‘rainbow’)

plt.show()

分类讨论:

当a、b都为0时,观察函数,变为f(x)=x^2,就是一个简单二次函数;

当a、b都为1时,图像如下:

当a为0、b为1时,图像如下:

当a为1、b为0,图像如下:

当a为0、b为 -1时,图像如下:

当a为 -1、b为 -1时,图像如下:

归纳总结:

开口向下的曲面 开口向上的曲面