集成学习task2打卡

机器学习

机器学习的重要的目标是利用数学模型来理解数据,发现数据中的规律,用作数据的分析和预测。数据通常由一组向量组成,这组向量中的每个向量都是一个样本,我们用𝑥𝑖xi来表示一个样本,其中𝑖=1,2,3,…,𝑁i=1,2,3,…,N,共N个样本,每个样本𝑥𝑖=(𝑥𝑖1,𝑥𝑖2,…,𝑥𝑖𝑝,𝑦𝑖)xi=(xi1,xi2,…,xip,yi)共p+1个维度,前p个维度的每个维度我们称为一个特征,最后一个维度𝑦𝑖yi我们称为因变量(响应变量)。特征用来描述影响因变量的因素,如:我们要探寻身高是否会影响体重的关系的时候,身高就是一个特征,体重就是一个因变量。通常在一个数据表dataframe里面,一行表示一个样本𝑥𝑖xi,一列表示一个特征。
根据数据是否有因变量,机器学习的任务可分为:有监督学习无监督学习

**有监督学习:**给定某些特征去估计因变量,即因变量存在的时候,我们称这个机器学习任务为有监督学习。如:我们使用房间面积,房屋所在地区,环境等级等因素去预测某个地区的房价。
**无监督学习:**给定某些特征但不给定因变量,建模的目的是学习数据本身的结构和关系。如:我们给定某电商用户的基本信息和消费记录,通过观察数据中的哪些类型的用户彼此间的行为和属性类似,形成一个客群。注意,我们本身并不知道哪个用户属于哪个客群,即没有给定因变量。

根据因变量的是否连续,有监督学习又分为回归分类

**回归:**因变量是连续型变量,如:房价,体重等。
**分类:**因变量是离散型变量,如:是否患癌症,西瓜是好瓜还是坏瓜等。

回归
假设:数据集𝐷={(𝑥1,𝑦1),…,(𝑥𝑁,𝑦𝑁)}D={(x1,y1),…,(xN,yN)}𝑥𝑖∈𝑅𝑝,𝑦𝑖∈𝑅,𝑖=1,2,…,𝑁xi∈Rp,yi∈R,i=1,2,…,N,𝑋=(𝑥1,𝑥2,…,𝑥𝑁)𝑇,𝑌=(𝑦1,𝑦2,…,𝑦𝑁)𝑇X=(x1,x2,…,xN)T,Y=(y1,y2,…,yN)T
假设X和Y之间存在线性关系,模型的具体形式为𝑦̂ =𝑓(𝑤)=𝑤𝑇𝑥y^=f(w)=wTx,。通过构建损失函数,来求解损失函数最小时的参数w :

(b) 几何解释:
在线性代数中,我们知道两个向量a和b相互垂直可以得出:<𝑎,𝑏>=𝑎.𝑏=𝑎𝑇𝑏=0<a,b>=a.b=aTb=0,而平面X的法向量为Y-Xw,与平面X互相垂直,因此:𝑋𝑇(𝑌−𝑋𝑤)=0XT(Y−Xw)=0,即:𝑤=(𝑋𝑇𝑋)−1𝑋𝑇𝑌w=(XTX)−1XTY