Press "Enter" to skip to content

Posts tagged as “Machine Learning”

神经网络(一)

写在前面 神经网络, 是深度学习领域中非常重要的概念, 在这个系列文章中, 将会带你理解一些基础概念, 并带你从头推导一个神经网络的正反向传播过程. 在开始之前, 你可能需要掌握一部分微积分知识, 在这里, 附上之前写的微积分系列链接微积分(一), 如果觉得看文字描述比较吃力, 可以考虑看一下里面推荐的视频. 介绍 神经网络, 顾名思义, 就是由多个神经元组成的网络结构. 上图为一个神经元的组成结构, 一个神经元通常具有多个树突, 主要用来接受传入信息. 而轴突只有一条, 轴突尾端有许多轴突末梢可以给其他多个神经元传递信息. 轴突末梢跟其他神经元的树突产生连接, 从而传递信号. 这个连接的位置在生物学上叫做'突触'. 只有一个Feature输入的一个神经元…

微积分(四)

写在前面 在这个章节中, 我们主要来探讨如何针对组合函数求导, 其中包括, 函数相加, 函数相乘, 以及链式法则. 加法法则 如图, 我们想要对函数 求导. 假设 , 则此处 . 假设在此处增长微量 , 则增加的高度变化值为 , 最后推导出 . 加法法则: 乘法法则 如图, 我们要对函数…

微积分(三)

写在前面 在这篇文章中, 将会用图例的方式来对一些常用的求导公式进行讲解, 以便于对微积分概念的理解. 关于 我们先从 开始理解. 如图, 假设我们要在 上增加一个微量 (其实这里就是对 求导), 那会增加图中黄色矩形部分面积. 我们暂且叫这个部分增加的面积为df, 那么计算一下黄色矩形部分的面积: 由于 非常小, 试想, 假设 , 则有 , 对我们整体数据的影响是非常小的, 所以可以忽略这部分的值不计, 最后得出…

微积分(二)

写在前面 在上次的文章中, 大致的对微积分的思路与过程做了个介绍, 这次我们将进行更加深入的讨论. 关于d 如图, 在汽车行驶速度的讨论中( 为汽车行驶时间与距离的关系函数 ), 我们将速度定义成 . 则小车在当前点的行驶速度为 . 当dt的值非常小时, 我们近似的将其看做为这个点的切线. 而速度则是此切线的斜率. 在微积分里, 我们都会采用这种思路来分析解决问题, 这里的dt是个非常微小的值, 却又是真实存在, 且不为零的. 在微积分里, 用d表示一个变量趋近于零. 一个简单的求导过程 如图,…

微积分(一)

写在前面 这里开始补充一些机器学习中所会经常接触到的微积分知识. 最近在看B站本质系列, 链接贴一下微积分的本质 - 01, 有兴趣的童鞋也可以去看看, 讲得很基础. 关于圆的面积 对于圆的面积的算法一开始我们并不清晰, 如果用微积分的思路, 将其分为多个微小的同心圆, 则可将其展开. 下图为一个宽度非常小的同心圆(当然, 这里为了方便查看与学习, 将其放大了.), 将其从原型中抽离出来的模样. 将它拉直了之后, 可以近似的看成是一个长方形. 我们假设这个长方形的宽度是dr, 这里的dr如果取值越小, 划分越细, 就越接近与圆的真实面积. 已知圆的周长是可以用 来计算的,…

Decision Tree (三)

写在前面 在这章内容中, 将重点探讨决策树的表述方式, ID3, 以及如何处理连续属性, 何时停止等问题. 分类与回归 Classification(分类): 将输入的值映射到离散值. Regression(回归): 从某种输入空间映射到某个实际数字. 分类学习 Instance(实例): 输入集, 可以是相片, 评分等数据. Concept(概念): 函数, 将输入映射到输出, 提取实例信息, 将实例映射到某类输出(True|False). Target Concept(目标概念): 实际答案. Hyprhesis(假设):…

Decision Tree (二)

写在前面 在这个章节里面, 我们将会更深入的研究决策树. 贪心算法 贪心算法|贪婪算法: 在对问题求解时, 总是做出在当前看来是最好的选择. 也就是说, 不从整体最优上加以考虑, 他所做出的是在某种意义上的局部最优解. 而我们现在所研究的决策树, 也是一种贪心算法. 奥卡姆剃刀 奥卡姆剃刀: 切勿浪费较多东西, 去做'用较少的东西, 同样可以做好的事情'. 简单点说, 便是: be simple. 可线性分离的数据 如下图, 假设我们的朋友Tom喜欢冲浪, 但是冲浪需要满足两个条件,…

Decision Tree (一)

写在前面 在这篇文章里面, 我们介绍下决策树的一些基本知识. 举个例子 下表为AppStore中下载软件的用户信息(性别, 年龄)与下载的App名称(PS. 当然, 这些只是我们为了学习伪造的数据.) Gender Age App F 15 PockmonGo F 25 WhatsApp M 32 SnapChat F 40 WhatsApp M 12…

svm.SVC In sklearn

# import svm from sklearn from sklearn import svm # 创建训练集 X = [[0, 0], [1, 1]] Y = [0, 1] # 创建SVC分类器 clf =…