写在前面 在这个章节, 我们将从头推导一个神经网络的正向传播过程. 正向传播 如图, 现有一神经网络拥有两个Input节点(i1, i2), 两个Hidden节点(h1, h2), 两个Output节点(o1, o2). 这里采用Sigmoid作为激活函数. 假设 , 为输入数据. 从Input到HiddenInput: 得出: 激活HiddenInput得到HiddenOutput: 从HiddenOutput到OutputInput: 得出: 激活OutputInput得到OutputOutput: 到这里, 我们的正向传播就结束了, 最后得到两个输出节点的输出 写在后面…
Hacking Linux
写在前面 神经网络, 是深度学习领域中非常重要的概念, 在这个系列文章中, 将会带你理解一些基础概念, 并带你从头推导一个神经网络的正反向传播过程. 在开始之前, 你可能需要掌握一部分微积分知识, 在这里, 附上之前写的微积分系列链接微积分(一), 如果觉得看文字描述比较吃力, 可以考虑看一下里面推荐的视频. 介绍 神经网络, 顾名思义, 就是由多个神经元组成的网络结构. 上图为一个神经元的组成结构, 一个神经元通常具有多个树突, 主要用来接受传入信息. 而轴突只有一条, 轴突尾端有许多轴突末梢可以给其他多个神经元传递信息. 轴突末梢跟其他神经元的树突产生连接, 从而传递信号. 这个连接的位置在生物学上叫做'突触'. 只有一个Feature输入的一个神经元…
写在前面 在这个章节中, 我们主要来探讨如何针对组合函数求导, 其中包括, 函数相加, 函数相乘, 以及链式法则. 加法法则 如图, 我们想要对函数 求导. 假设 , 则此处 . 假设在此处增长微量 , 则增加的高度变化值为 , 最后推导出 . 加法法则: 乘法法则 如图, 我们要对函数…
写在前面 在这篇文章中, 将会用图例的方式来对一些常用的求导公式进行讲解, 以便于对微积分概念的理解. 关于 我们先从 开始理解. 如图, 假设我们要在 上增加一个微量 (其实这里就是对 求导), 那会增加图中黄色矩形部分面积. 我们暂且叫这个部分增加的面积为df, 那么计算一下黄色矩形部分的面积: 由于 非常小, 试想, 假设 , 则有 , 对我们整体数据的影响是非常小的, 所以可以忽略这部分的值不计, 最后得出…
写在前面 在上次的文章中, 大致的对微积分的思路与过程做了个介绍, 这次我们将进行更加深入的讨论. 关于d 如图, 在汽车行驶速度的讨论中( 为汽车行驶时间与距离的关系函数 ), 我们将速度定义成 . 则小车在当前点的行驶速度为 . 当dt的值非常小时, 我们近似的将其看做为这个点的切线. 而速度则是此切线的斜率. 在微积分里, 我们都会采用这种思路来分析解决问题, 这里的dt是个非常微小的值, 却又是真实存在, 且不为零的. 在微积分里, 用d表示一个变量趋近于零. 一个简单的求导过程 如图,…
写在前面 这里开始补充一些机器学习中所会经常接触到的微积分知识. 最近在看B站本质系列, 链接贴一下微积分的本质 - 01, 有兴趣的童鞋也可以去看看, 讲得很基础. 关于圆的面积 对于圆的面积的算法一开始我们并不清晰, 如果用微积分的思路, 将其分为多个微小的同心圆, 则可将其展开. 下图为一个宽度非常小的同心圆(当然, 这里为了方便查看与学习, 将其放大了.), 将其从原型中抽离出来的模样. 将它拉直了之后, 可以近似的看成是一个长方形. 我们假设这个长方形的宽度是dr, 这里的dr如果取值越小, 划分越细, 就越接近与圆的真实面积. 已知圆的周长是可以用 来计算的,…
sklearn中的特征缩放 执行结果:
route 查看或修改路由表 route [-v] [-A family] add [-net|-host] target [netmask Nm] [gw Gw] [metric N] [mss M] [window W] [irtt I] [reject] [mod] [dyn] [reinstate]…
NERDTree 目录管理，树状导航 [root@kyle download]# wget -c http://www.vim.org/scripts/download_script.php?src_id=11500 [root@kyle download]# mkdir NERD_tree/ [root@kyle download]# mv NERD_tree.zip NERD_tree/ [root@kyle download]# cd NERD_tree/ [root@kyle NERD_tree]# unzip NERD_tree.zip [root@kyle…
检测网线是否连接 mii-tool [-v, --verbose] [-V, --version] [-R, --reset] [-r, --restart] [-w, --watch] [-l, --log] [-A, --advertise=media,...] [-F, --force=media] [inter- face ...] 例如: [root@kyle /]# mii-tool…