写在前面 在这个章节, 我们将从头推导一个神经网络的反向传播过程. 反向传播在神经网络中非常重要, 要理解透彻神经网络的学习过程, 需要好好消化一下这里的内容. 如果你对微积分还不够理解, 请先看微积分(一). 如果你对神经网络正向传播过程还不理解, 请先看神经网络(二) 误差 \(E = \frac{1}{2}\sum_{\mu}\sum_{j}(y^\mu_j - \hat{y}^\mu_j)^{2}\) 我们需要有一个指标来了解预测有多差, 也就是误差 (error). 这里 是预测值, y是真实值. 一个是所有输出单元j的和, 另一个是所有数据点 的和.…
Posts tagged as “神经网络”
写在前面 在这个章节, 我们将从头推导一个神经网络的正向传播过程. 正向传播 如图, 现有一神经网络拥有两个Input节点(i1, i2), 两个Hidden节点(h1, h2), 两个Output节点(o1, o2). 这里采用Sigmoid作为激活函数. 假设 , 为输入数据. 从Input到HiddenInput: 得出: 激活HiddenInput得到HiddenOutput: 从HiddenOutput到OutputInput: 得出: 激活OutputInput得到OutputOutput: 到这里, 我们的正向传播就结束了, 最后得到两个输出节点的输出 写在后面…
写在前面 神经网络, 是深度学习领域中非常重要的概念, 在这个系列文章中, 将会带你理解一些基础概念, 并带你从头推导一个神经网络的正反向传播过程. 在开始之前, 你可能需要掌握一部分微积分知识, 在这里, 附上之前写的微积分系列链接微积分(一), 如果觉得看文字描述比较吃力, 可以考虑看一下里面推荐的视频. 介绍 神经网络, 顾名思义, 就是由多个神经元组成的网络结构. 上图为一个神经元的组成结构, 一个神经元通常具有多个树突, 主要用来接受传入信息. 而轴突只有一条, 轴突尾端有许多轴突末梢可以给其他多个神经元传递信息. 轴突末梢跟其他神经元的树突产生连接, 从而传递信号. 这个连接的位置在生物学上叫做’突触’. 只有一个Feature输入的一个神经元…