Press "Enter" to skip to content

Posts published in “Math”

精读西瓜书(第三章-线性模型)-基本形式, 线性回归, 对数几率回归

写在前面 在这篇文章中, 我们继续学习线性模型, 如果时间地点允许, 我希望读者能拿着笔纸, 跟着一起推导一遍, 相信你会受益颇深. 基本形式 给定由d个属性描述的示例 , 其中 是 在第 个属性上的取值, 线性模型(Linear Model)试图学得一个通过属性的线性组合来进行预测的函数, 即: 一般用向量形式写成: 其中 , 和 学得之后, 模型就得以确定. 线性模型形式简单, 易于建模,…

精读西瓜书(第二章-模型评估与选择)-偏差与方差

写在前面 这篇文章中, 我们接着学习偏差与方差部分. 在学习的同时, 对于数学基础不是太好的童鞋, 最好能准备好google, 或者备一本<概率导论>. 偏差与方差 '偏差-方差分解'(Bias-Variance Decomposition): 是解释学习算法泛化性能的一种重要工具. 偏差-方差分解试图对学习算法的期望泛化错误率进行拆解. 我们知道, 算法在不同训练集上学的的结果很可能不同, 即便这些训练集是来自同一个分布. 对测试样本 , 令 为 在数据集中的标记, 为 的真实标记, 为训练集 上学的模型 在…

精读西瓜书(第二章-模型评估与选择)-性能度量, 比较检验

写在前面 在这篇文章中, 我们将继续学习模型评估与选择中的性能度量与比较检验这两个小节. 这两个小节中涉及到的概念性的东西比较多, 我们提炼了一些比较重要的点出来进行讲解. 性能度量 性能度量(Performance Measure): 对学习器的泛化性能机型评估, 不仅需要有效可行的实验估计方法, 还需要有度量模型泛化能力的评价标准, 这就是性能度量(Performace Measure). 性能度量反映了任务需求, 在对比不同模型的能力时, 使用不同的性能度量往往会导致不同的评判结果; 这意味着模型的'好坏'是相对的, 什么样的模型是好的, 不仅取决于算法和数据, 还决定于任务需求. 在预测任务中, 给定样例集 , 其中 是示例…

精读西瓜书(第二章-模型评估与选择)-经验误差与过拟合, 评估方法

写在前面 今天我们继续读第二个章节, 模型评估与选择. 在这篇文章中, 我们重点探讨经验误差与过拟合, 评估方法这两个小节中的内容. 经验误差与过拟合 错误率(Error Rate): 分类错误的样本数占样本总数的比例. 如果在m个样本中, 有a个样本分类错误, 则错误率 . 精度(Accuracy): 精度 = 1 - 错误率 , . 误差(Error): 学习器的实际预测输出与样本的真实输出之间的差异被称为误差. 学习器在训练集上的误差称为'训练误差'(Training…

精读西瓜书(第一章-绪论)

写在前面 周志华老师的<机器学习>, 又被称为西瓜书, 每次读都会有一种耳目一新的感觉. 这次在微信公众号发起了西瓜书精读活动, 很多童鞋的需求都很强烈, 希望在我们一起努力下, 能对书中的知识有更深刻的认知. 机器学习是目前火热的人工智能领域中的一门大学科, 其中对高数, 线代, 统计学, 概率论的要求极高. 在看这个系列文章的同时, 如果遇见看不懂的公式或者名词, 可以适量的补充一些数学知识. 相信我们都会有所进步! 在这篇文章中, 我们对机器学习的基本概念与名词做了解释. 在学习完这个章节之后, 你会对机器学习有个大概的认知, 并且了解一些基本术语, 假设空间, 以及理解归纳偏好的概念. 引言…

神经网络(三)

写在前面 在这个章节, 我们将从头推导一个神经网络的反向传播过程. 反向传播在神经网络中非常重要, 要理解透彻神经网络的学习过程, 需要好好消化一下这里的内容. 如果你对微积分还不够理解, 请先看微积分(一). 如果你对神经网络正向传播过程还不理解, 请先看神经网络(二) 误差 我们需要有一个指标来了解预测有多差, 也就是误差 (error). 这里 是预测值, y是真实值. 一个是所有输出单元j的和, 另一个是所有数据点 的和. 首先是内部这个对j的求和. 变量j代表网络输出单元. 所以这个内部的求和是指对于每一个输出单元, 计算预测值 与真实值y之间的差的平方,…

神经网络(二)

写在前面 在这个章节, 我们将从头推导一个神经网络的正向传播过程. 正向传播 如图, 现有一神经网络拥有两个Input节点(i1, i2), 两个Hidden节点(h1, h2), 两个Output节点(o1, o2). 这里采用Sigmoid作为激活函数. 假设 , 为输入数据. 从Input到HiddenInput: 得出: 激活HiddenInput得到HiddenOutput: 从HiddenOutput到OutputInput: 得出: 激活OutputInput得到OutputOutput: 到这里, 我们的正向传播就结束了, 最后得到两个输出节点的输出 写在后面…

神经网络(一)

写在前面 神经网络, 是深度学习领域中非常重要的概念, 在这个系列文章中, 将会带你理解一些基础概念, 并带你从头推导一个神经网络的正反向传播过程. 在开始之前, 你可能需要掌握一部分微积分知识, 在这里, 附上之前写的微积分系列链接微积分(一), 如果觉得看文字描述比较吃力, 可以考虑看一下里面推荐的视频. 介绍 神经网络, 顾名思义, 就是由多个神经元组成的网络结构. 上图为一个神经元的组成结构, 一个神经元通常具有多个树突, 主要用来接受传入信息. 而轴突只有一条, 轴突尾端有许多轴突末梢可以给其他多个神经元传递信息. 轴突末梢跟其他神经元的树突产生连接, 从而传递信号. 这个连接的位置在生物学上叫做'突触'. 只有一个Feature输入的一个神经元…

微积分(四)

写在前面 在这个章节中, 我们主要来探讨如何针对组合函数求导, 其中包括, 函数相加, 函数相乘, 以及链式法则. 加法法则 如图, 我们想要对函数 求导. 假设 , 则此处 . 假设在此处增长微量 , 则增加的高度变化值为 , 最后推导出 . 加法法则: 乘法法则 如图, 我们要对函数…

微积分(三)

写在前面 在这篇文章中, 将会用图例的方式来对一些常用的求导公式进行讲解, 以便于对微积分概念的理解. 关于 我们先从 开始理解. 如图, 假设我们要在 上增加一个微量 (其实这里就是对 求导), 那会增加图中黄色矩形部分面积. 我们暂且叫这个部分增加的面积为df, 那么计算一下黄色矩形部分的面积: 由于 非常小, 试想, 假设 , 则有 , 对我们整体数据的影响是非常小的, 所以可以忽略这部分的值不计, 最后得出…