精读西瓜书(第五章-神经网络)-误差逆传播算法

写在前面

• 今天, 我们将会更加深入的学习神经网络, 了解神经网络的学习过程.

误差逆传播算法

• 多层网络的学习能力比单层感知机强得多. 欲训练多层网络, 简单的感知机学习规则显然不够了, 需要更强大的学习算法. 误差逆传播(Error BackPropagation, 简称 BP)算法就是其中最杰出的代表, 它是迄今最成功的神经网络学习算法. 现实任务中使用神经网络时, 大多是在使用BP算法进行训练. 值得指出的是, BP算法不仅可用于多层前馈神经网络, 还可用于其他类型的神经网络.
• BP算法的工作流程:

输入: 训练集

学习率

过程:

1. 在(0, 1)范围内随机初始化网络中所有连接权和阈值
2. repeat
3.     for all do
4.         根据当前参数计算当前样本的输出 ;
5.         计算输出层神经元的梯度项 ;
6.         计算隐藏层神经元的梯度项 ;
7.         更新连接权 与阈值 ;
8.     end for
9. until 达到停止条件

输出: 连接权与阈值确定的多层前馈神经网络

• 此部分的内容请参照神经网络(二)(此部分主要讲解了针对神经网络正向传播的一些细节和方法), 神经网络(三)(此部分主要讲解了针对神经网络反向传播的一些细节和方法).

写在后面

• 在本篇文章中, 我们主要介绍了神经网络的正反向传播过程, 并且针对其中的一些细节与公式进行了详细的推导.
• 明天, 我们将会继续研究神经网络中的全局最小与局部极小问题.