随笔分类 - Machine Learing
摘要：1） 最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Es
阅读全文
摘要：知乎上有个解释的很好 https://www.zhihu.com/question/19725590 猴子的解释 因为不能复制就贴网址了。。。
阅读全文
摘要：11 SMO优化算法（Sequential minimal optimization） SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。 关于SMO最好的资料就是他本人写的《Seque
阅读全文
摘要：前言 本文开始主要介绍一下SVM的分类原理以及SVM的数学导出和SVM在Python上的实现。借鉴了许多文章，会在后面一一指出，如果有什么不对的希望能指正。 一、 SVM简介 首先看到SVM是在斯坦福的机器学习课程上，SVM是作为分类器在logisticregression的基础上引出的。 其学习方
阅读全文
摘要：在之前的决策树算法中我们已经讲解了从数据集构造决策树算法的功能模块。 首先是创建数据集，然后计算香农熵，然后基于最好的属性值划分数据集，由于特征值可能多于两个，因此可能存在大于两个分支的数据集划分。第一次划分好之后，数据将被向下传递到树分支的一个节点，在这个节点上我们可以再次划分数据，所以我们可以采
阅读全文
摘要：在讲了怎样构建决策树之后，作者本来还讲了如何用 Matplotlib 把决策树给画出来，噼里啪啦又是一堆代码。 但我自认为学习这部分的意义不大，毕竟这棵树长什么样子是给人看的，计算机不用考虑，能进行构建和分类就可以了。而且如果树很宽很深的话，人眼也看不过来。 所以就偷个懒，跳过这小节吧。 这篇博客讲
阅读全文
摘要：很好。这一篇里面我们来写一些代码。 决策树可以通过递归的方式来构造。在真正建树之前，我们先来写一些子模块的代码。 计算给定数据集的熵 我们先拿个例子来做数据集吧。就是下面这个海洋生物数据： 两个特征：（1）不复出水面是否可以生存（英语：no surfacing）；（2）是否有脚蹼（英语：flippe
阅读全文
摘要：有半个月没来了。 最近一段时间...大多在忙项目组的事（其实就是改一改现有代码的bug，不过也挺费劲的，毕竟代码不是自己写的）。另外就是自己租了几台美帝的vps，搭了$-$的服务器 ，效果还不错。自己搭的话就不用去买别人的服务了，不过租vps毕竟还是要成本的，光用来番茄的话，性价比仍然比不过各路山寨
阅读全文
摘要：写在前面的话 可怜了我这个系列的博客，写的这么好,花了很多心思去写的，却没有人知道欣赏。就像我这么好也没有人懂得欣赏，哈哈哈，我好不要脸。。。 如果您有任何地方看不懂的，那一定是我写的不好，请您告诉我，我会争取写的更加简单易懂！ 如果您有任何地方看着不爽，请您尽情的喷，使劲的喷，不要命的喷，您的槽点
阅读全文
摘要：写在前面的话 如果您有任何地方看不懂的，那一定是我写的不好，请您告诉我，我会争取写的更加简单易懂！ 如果您有任何地方看着不爽，请您尽情的喷，使劲的喷，不要命的喷，您的槽点就是帮助我要进步的地方！ 计算给定数据的信息熵 在决策树算法中最重要的目的我们已经在前几章说过了，就是根据信息论的方法找到最合适的
阅读全文
摘要：目录索引 目录索引 写在前面的话 决策树构建的一般流程 数据的构建 参考链接 写在后面的话 目录索引 写在前面的话 决策树构建的一般流程 数据的构建 参考链接 写在后面的话 写在前面的话 如果您有任何地方看不懂的，那一定是我写的不好，请您告诉我，我会争取写的更加简单易懂！ 如果您有任何地方看着不爽，
阅读全文
摘要：写在前面的话 趁着现在我还是高中数理化老师，偶尔兼职英语老师的时候赶紧抓紧时间写点有关计算机科学技术的东西。一来是表示我对计算机的热爱，二来，当然是最重要的咯，满足一下我强大的虚荣心。哈哈哈哈！想想高中数学物理化学老师在折腾计算机，是不是有种瞬间吊炸天的感觉。 这个系列我写了一个月了，之后会陆陆续续
阅读全文
摘要：多分类问题：有N个类别C1,C2,...,Cn,多分类学习的基本思路是“拆解法”，即将多分类任务拆分为若干个而分类任务求解，最经典的拆分策略是：“一对一”，“一对多”，“多对多” (1)一对一 给定数据集D={(x1,y1),(x2,y2),...,(xn,yn)},yi€{c1,c2,...,cN
阅读全文
摘要：先收藏。。。。。。。。。。。。 本文为笔者在学习周志华老师的机器学习教材后，写的课后习题的的编程题。之前放在答案的博文中，现在重新进行整理，将需要实现代码的部分单独拿出来，慢慢积累。希望能写一个机器学习算法实现的系列。 本文主要包括： 1、logistics回归 2、python库： numpy m
阅读全文
摘要：之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。 比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后
阅读全文
摘要：转自：https://www.zhihu.com/question/23194489 作者：王丰链接：https://www.zhihu.com/question/23194489/answer/25028661来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 这个问题
阅读全文
摘要：转自：http://www.baidu.com/link?url=vRj2mLRpbQKApQF3Z6RQ2k4MGkwQY2hpv8gjhqxvbmEzzPFLpfaK8HobnIBDigphG-dc_oFNabjWolUraqgL5a&wd=&eqid=c90e4dc600007f5200000
阅读全文
摘要：转自：https://zhuanlan.zhihu.com/p/25765735 在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的
阅读全文
摘要：转自：http://www.cnblogs.com/hemiy/p/6155425.html 本人只跑过knn的原始算法，环境是python2.7 目录 1 算法概述 1.1 算法特点 1.2 工作原理 1.3 实例解释 2 代码实现 2.1 k-近邻简单分类的应用 2.2 在约会网站上使用k-近邻
阅读全文
摘要：原文：http://www.hankcs.com/ml/the-perceptron.html 《统计学习方法》系列笔记的第一篇，对应原著第二章。大量引用原著讲解，加入了自己的理解。对书中算法采用Python实现，并用Matplotlib可视化了动画出来，应该算是很硬派了。一套干货下来，很是辛苦，要
阅读全文
浙公网安备 33010602011771号