机器学习(周志华)自学总结 三、线性模型

1.基本形式

线性模型 linear model
非线性模型 nonlinear model

2.一元线性回归

概述
欧氏距离 Euclidean distance
最小二乘法 least square method 找到一条直线,使所有样本到直线的欧式距离之和最小
参数估计 parameter estimation 求解w和b使,损失函数E(w,b)最小化的过程
闭式解 closed-form 解 线性回归能得到w=…,b=… 这样的最优解;而神经网络、逻辑回归通常无法恰好求到最优解,需要用到sgd等求解损失函数。

求解损失函数


线性回归三要素

3.多元线性回归

多元线性回归 multivariate linear regression

求解损失函数

4.对数几率回归

正则化 regularization 极大似然法 maximum likelihood method
对数线性回归 log-linear regression 对数似然 log-likelihood
义线性模型 generalized linear model 梯度下降法 gradient descent method
联系函数 link function 牛顿法 Newton method
单位阶跃函数 unit-step function
对数几率函数 logistic function
对数几率回归 logistic regression ,亦称 logit regression

算法原理

求解损失函数


对数几率回归三要素

5.二分类线性判别分析

线性判别分析 Linear Discriminant nalys ,简称 LDA
类内散度矩阵 within-class catter matrix
类间散度矩阵 between-class scatter matrix
广义瑞利商 generalized Rayleigh quotient
trace

算法原理

策略:欲最大化的目标


求解损失函数

附:相关数学知识

凸函数 梯度 海塞矩阵

矩阵微分

拉格朗日乘子法

广义特征值

广义瑞利商