写在前面 在这个章节, 我们将从头推导一个神经网络的反向传播过程. 反向传播在神经网络中非常重要, 要理解透彻神经网络的学习过程, 需要好好消化一下这里的内容. 如果你对微积分还不够理解, 请先看微积分(一). 如果你对神经网络正向传播过程还不理解, 请先看神经网络(二) 误差 我们需要有一个指标来了解预测有多差, 也就是误差 (error). 这里 是预测值, y是真实值. 一个是所有输出单元j的和, 另一个是所有数据点 的和. 首先是内部这个对j的求和. 变量j代表网络输出单元. 所以这个内部的求和是指对于每一个输出单元, 计算预测值 与真实值y之间的差的平方,…
Posts tagged as “神经网络”
写在前面 在这个章节, 我们将从头推导一个神经网络的正向传播过程. 正向传播 如图, 现有一神经网络拥有两个Input节点(i1, i2), 两个Hidden节点(h1, h2), 两个Output节点(o1, o2). 这里采用Sigmoid作为激活函数. 假设 , 为输入数据. 从Input到HiddenInput: 得出: 激活HiddenInput得到HiddenOutput: 从HiddenOutput到OutputInput: 得出: 激活OutputInput得到OutputOutput: 到这里, 我们的正向传播就结束了, 最后得到两个输出节点的输出 写在后面…
写在前面 神经网络, 是深度学习领域中非常重要的概念, 在这个系列文章中, 将会带你理解一些基础概念, 并带你从头推导一个神经网络的正反向传播过程. 在开始之前, 你可能需要掌握一部分微积分知识, 在这里, 附上之前写的微积分系列链接微积分(一), 如果觉得看文字描述比较吃力, 可以考虑看一下里面推荐的视频. 介绍 神经网络, 顾名思义, 就是由多个神经元组成的网络结构. 上图为一个神经元的组成结构, 一个神经元通常具有多个树突, 主要用来接受传入信息. 而轴突只有一条, 轴突尾端有许多轴突末梢可以给其他多个神经元传递信息. 轴突末梢跟其他神经元的树突产生连接, 从而传递信号. 这个连接的位置在生物学上叫做'突触'. 只有一个Feature输入的一个神经元…