8月吃瓜教程—task04-学习笔记-ss

第五章 神经网络

5.1 神经元模型

M-P 神经元模型的数学表达image
其输出再经过激活函数处理,理想状态希望为阶跃函数,数学上一般使用sigmoid函数来作为激活函数,也称之为“挤压函数”。

5.2 感知机和多层网络

感知机由两层神经元组成,其激活函数为阶跃函数,感知机问题即为找出解决分类问题的超平面;感知机可以容易的实现逻辑与或非;
感知机的权重调整策略:随机梯度下降,image,eta为学习率;
线性可分则感知机一定能收敛,非线性可分则感知机容易陷入震荡;
输出层与输入层之间神经元层被称之为隐层或隐含层;
每层神经元只与下层神经元互连的网络结构被称之为“多层前馈神经网络”。

5.3 误差逆传播算法

误差逆传播(error BackPropagation,简称 BP);BP网络多指代使用BP算法训练的多层前馈神经网络;
以图为例:


输出层某个神经元的输出为image
则网络对特定x,y输入的误差可以表示为image 1/2是为了求导的方便。
图中参数总量为 (d + l + 1) q + l
最后一层为例求得的梯度下降公式可以表示为:image
因为参数先影响最后神经元的输入值,再影响其输出值,可以把式子化为:image
结合定义与sigmoid函数的性质可以求得最终的结果:image
其中:image
类似有:image
其中image
image

下面是伪代码:


标准BP算法只针对单次的误差进行更新,累积BP针对所有训练集的数据累积的误差进行更新;
标准BP往往需要更多次迭代才能收敛,但在很多任务中,误差累积下降到一定程度后,使用标准误差往往会得到较快较好的解。

由于其强大表达能力,在训练中BP网络经常过拟合。
一种策略是“早停”,在验证集误差经历拐点时停止;
另一种昂策略是“正则化”,在误差目标函数中添加一个用于描述网络复杂度的部分,例如:image