精读西瓜书(第五章-神经网络)-误差逆传播算法

写在前面

  • 今天, 我们将会更加深入的学习神经网络, 了解神经网络的学习过程.

误差逆传播算法

  • 多层网络的学习能力比单层感知机强得多. 欲训练多层网络, 简单的感知机学习规则显然不够了, 需要更强大的学习算法. 误差逆传播(Error BackPropagation, 简称 BP)算法就是其中最杰出的代表, 它是迄今最成功的神经网络学习算法. 现实任务中使用神经网络时, 大多是在使用BP算法进行训练. 值得指出的是, BP算法不仅可用于多层前馈神经网络, 还可用于其他类型的神经网络.
  • BP算法的工作流程:

输入: 训练集

学习率

过程:

  1. 在(0, 1)范围内随机初始化网络中所有连接权和阈值
  2. repeat
  3.     for all do
  4.         根据当前参数计算当前样本的输出 ;
  5.         计算输出层神经元的梯度项 ;
  6.         计算隐藏层神经元的梯度项 ;
  7.         更新连接权 与阈值 ;
  8.     end for
  9. until 达到停止条件

输出: 连接权与阈值确定的多层前馈神经网络

  • 此部分的内容请参照神经网络(二)(此部分主要讲解了针对神经网络正向传播的一些细节和方法), 神经网络(三)(此部分主要讲解了针对神经网络反向传播的一些细节和方法).

写在后面

  • 在本篇文章中, 我们主要介绍了神经网络的正反向传播过程, 并且针对其中的一些细节与公式进行了详细的推导.
  • 明天, 我们将会继续研究神经网络中的全局最小与局部极小问题.

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据