随笔分类 -  机器学习

摘要：安装命令如下： curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python get-pip.py pip install tensorflow pip install enum34 --upgrade --ignore-installed pip install tensorflow pip install skl... 阅读全文

摘要：1、之前讲到随机梯度下降法（SGD），如果每次将batch个样本输入给模型，并更新一次，那么就成了batch梯度下降了。 2、batch梯度下降显然能够提高算法效率，同时相对于一个样本，batch个样本更能体现样本的总体分布。 3、但是也不是batch越大越好，容易陷入鞍点（横看最小，侧看最大）；b 阅读全文

摘要：1、SGD对训练集的输入顺序敏感。 之前没注意这个问题，训练集前一部分全是label=1的，后面部分全是label=0，导致分类结果全部一边倒。一直没找到问题，以为是数据或者模型出错了，后来偶然画损失函数图的时候，发现loss在中间部分会突增，才意识到跟训练集输入有关。 之所以模型敏感导致分类结果一 阅读全文

摘要：动态时间规整DTW 1 概述 动态时间规整是一个计算时间序列之间距离的算法，是为了解决语音识别领域中语速不同的情况下如何计算距离相似度的问题。 相对于用经典的欧式距离来计算相似度而言，DTW在数据点个数不对齐的情况下微调时间从而能够计算距离。 DTW之所以能够计算数据点个数不同时间序列之间的距离，是 阅读全文

摘要：看到一篇不错的介绍最小二乘法的博客，其中有个idea很不错，在拟合线性函数的时候，求得的函数跟真实函数或者真实数据之间或多或少都会有一个误差。 图中红色直线就是我们求得的线性函数。 为了表示拟合的函数跟真实数据之间的误差，在函数后面添加了个误差项μ 为了使这个总体误差最小，用残差平方和来表示： 则通 阅读全文

摘要：统计学习方法由三个要素组成：方法=模型+策略+算法 模型是针对具体的问题做的假设空间，是学习算法要求解的参数空间。例如模型可以是线性函数等。 策略是学习算法学习的目标，不同的问题可以有不同的学习目标，例如经验风险最小化或者结构风险最小化。 经验风险最小化中常见的损失函数有：0-1损失函数、残差损失函 阅读全文

摘要：朴素贝叶斯分类 原理 贝叶斯最基本的思想就是条件概率公式+条件独立假设+贝叶斯估计。 因为条件假设是一个较强的假设，因此称作朴素贝叶斯法。 它的思想有点类似于奥卡姆剃刀原理，举个例子，当前眼前走过一个黑人的时候，为你他是那里人，你第一眼想到的是他是个非洲人。因为非洲人普遍皮肤黑。 贝叶斯分类思想与此 阅读全文

摘要：为什么要改进成C4.5算法 原理 C4.5算法是在ID3算法上的一种改进，它与ID3算法最大的区别就是特征选择上有所不同，一个是基于信息增益比，一个是基于信息增益。 之所以这样做是因为信息增益倾向于选择取值比较多的特征(特征越多，条件熵(特征划分后的类别变量的熵)越小，信息增益就越大)；因此在信息增 阅读全文

摘要：主要思想： 0、训练集格式：特征1,特征2,...特征n,类别 1、采用Python自带的数据结构字典递归的表示数据 2、ID3计算的信息增益是指类别的信息增益，因此每次都是计算类别的熵 3、ID3每次选择最优特征进行数据划分后都会消耗特征 4、当特征消耗到一定程度，可能会出现数据实例一样，但是类别 阅读全文

摘要：决策树模型 优点：高效简单、易于理解，可以处理不相关特征。 缺点：容易过拟合，训练集在特征上是完备的 决策树过程：特征选择、划分数据集、构建决策树、决策树剪枝 决策树选择最优的划分特征，将数据集按照最优划分特征的取值划分成不同的子集，然后依次对子集重复上述步骤，指导子集中数据都归属于同一个类别，或者 阅读全文

摘要：1、trees = {'no surfacing': { 0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}}} 2、从我的文件trees.txt里读的决策树，也是一个递归字典表示 ps:参考博客[http://blog.csdn.net/ifruoxi/ar 阅读全文