随笔分类 - Machine Learning
摘要：本节课要点：VC维：模型选择算法 特征选择vc维：个人还是不太理解。个人的感觉就是为核函数做理论依据，低维线性不可分时，映射到高维就可分，那么映射到多高呢？我把可分理解为“打散”。参考的资料：http://www.cnblogs.com/boostable/p/iage_VC_dimension.h...
阅读全文
摘要：ref: blog:http://zhihaozhang.github.io/2014/05/20/svm4/ 《数据挖掘导论》真正的大神是当采用的算法表现出不是非常好的性能的时候，懂得如何去更改算法的人。本节课的三个内容：Kernels：核，用于构建非线性的分类器Soft Margin：软间隔，减...
阅读全文
摘要：本文适合于对SVM基本概念有一点了解的童鞋。 SVM基本概念： 最大边缘平面——基本原理：结构风险最小化 分类器的泛化误差 支持向量 问题描述： 请对一下数据，利用svm对其进行分类。 最终任务： 找到最优超平面 图1 看到这张...
阅读全文
摘要：写在前面：机器学习的目标是从训练集中得到一个模型，使之能对测试集进行分类，这里，训练集和测试集都是分布D的样本。而我们会设定一个训练误差来表示测试集的拟合程度（训练误差），虽然训练误差具有一定的参考价值。但实际上，我们并不关心对训练集合的预测有多么准确。我们更关心的是对于我们之前没有见过的一个全新的...
阅读全文
摘要：SVM不错的学习资料：百度网盘链接: http://pan.baidu.com/s/1hqw0Rnm 密码: asecblog：http://www.blogjava.net/zhenandaci/category/31868.html《数据挖掘导论》——Pang-Ning Tan,etc以上的资料...
阅读全文
摘要：参考：cs229讲义机器学习（一）：生成学习算法Generative Learning algorithms：http://www.cnblogs.com/zjgtan/archive/2013/06/08/3127490.html首先，简单比较一下前几节课讲的判别学习算法（Discriminati...
阅读全文
摘要：摘要： 为了提高源程序代码之间相似性的检测效率，提出一种基于序列聚类的相似代码检测算法． 算法首先把源代码按照其自身的结构进行分段提取，然后对各个分段进行部分代码变换，再以带权重的编辑距离为相似度量标准对这些符号进行序列聚类，得到相似的程序代码片段，以达到对源程序进行相似功能检测的目的．应用： 可以...
阅读全文
摘要：在Lecture4中有3部分内容：Newton’s method 牛顿方法Exceponential Family 指数分布族Generalized Linear Models 广义线性模型（GLMS）牛顿法上一篇随便中已经讲过了，是平行于梯度下降算法的另一种最优化算法。然后，视频中证明了伯努利分布...
阅读全文
摘要：之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
阅读全文
摘要：参考：http://www.itongji.cn/article/12112cH013.htmlhttp://blog.csdn.net/zouxy09/article/details/20319673https://class.coursera.org/ml-006/lecture/58（一定要看...
阅读全文
摘要：视频地址：http://v.163.com/movie/2008/1/E/B/M6SGF6VB4_M6SGHM4EB.html具体的推导过程，讲义上都有，已经很详细了。这里的推导过程大都是自己为了练习所书写，有些步骤也会稍微写的详细一些。为什么要选择“最小二乘法”这个指标来表示J(θ)第三集，拟合与...
阅读全文
摘要：视频地址：http://v.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html机器学习课程的所有讲义及课后作业：http://pan.baidu.com/s/1i3xcljJ视频前半部分讲了梯度下降算法的迭代过程求的局部最小值，后半部分介绍了利用数学方...
阅读全文
摘要：从Ⅱ到Ⅳ都在讲的是线性回归，其中第Ⅱ章讲得是简单线性回归（simple linear regression, SLR）（单变量），第Ⅲ章讲的是线代基础，第Ⅳ章讲的是多元回归（大于一个自变量）。本文的目的主要是对Ⅱ章中出现的一些算法进行实现，适合的人群为已经看完本章节Stanford课程的学者。本人只...
阅读全文
摘要：KNN算法基本的思路是比较好理解的，今天根据它的特点写了一个实例，我会把所有的数据和代码都写在下面供大家参考，不足之处，请指正。谢谢！update:工程代码全部在本页面中，测试数据已丢失，建议去UCI Dataset中找一个自行测试一下。几点说明：1.KNN中的K=5;2.在计算权重时，采用的是减去...
阅读全文
摘要：转自：http://blog.chinaunix.net/uid-446337-id-94440.html分类：机器学习的有概率分类器(probabilistic) ,贝叶斯推理网络(bayesian inference networks) , 决策树分类器(decision tree) ,决策规则...
阅读全文
摘要：推荐系统-从入门到精通为了方便大家从理论到实践，从入门到精通，循序渐进系统地理解和掌握推荐系统相关知识。特做了个读物清单。大家可以按此表阅读，也欢迎提出意见和指出未标明的经典文献以丰富各学科需求（为避免初学者疲于奔命，每个方向只推荐几篇经典文献）。1. 中文综述(了解概念-入门篇)a) 个性化推荐系...
阅读全文
摘要：JWNL是什么？JWNL is an API for accessing WordNet-style relational dictionaries. It also provides functionality beyond data access, such as relationship di...
阅读全文
摘要：源码地址：https://github.com/XBWer/WordSimilarity 1.确定要解决的问题及意义 在基于代码片段的分类过程中，由于程序员对数据变量名的选取可能具有一定的规范性，在某一特定业务处理逻辑代码中，可能多个变量名之间具有关联性或相似性（如“trade”（商品交易）类中，可
阅读全文
摘要：前面学习了ID3，知道了有关“熵”以及“信息增益”的概念之后。今天，来学习一下C4.5。都说C4.5是ID3的改进版，那么，ID3到底哪些地方做的不好？C4.5又是如何改进的呢？在此，引用一下前人的总结：ID3算法是决策树的一个经典的构造算法，在一段时期内曾是同类研究工作的比较对象，但通过近些年国内...
阅读全文
摘要：学习是一个循序渐进的过程，我们首先来认识一下，什么是决策树。顾名思义，决策树就是拿来对一个事物做决策，作判断。那如何判断呢？凭什么判断呢？都是值得我们去思考的问题。请看以下两个简单例子：第一个例子现想象一个女孩的母亲要给自己家的闺女介绍男朋友，女孩儿通过对方的一些情况来考虑要不要去，于是有了下面的对...
阅读全文
