随笔分类 - 机器学习
摘要：这是我们已经学到的（除Decision Tree外） 下面是一个典型的decision tree算法，有四个地方需要我们选择： 接着介绍了一个CART算法：通过decision stump分成两类，衡量子树的标准是，将数据分成两类后，这两类数据的纯度...
阅读全文
摘要：将分类器组合的过程中，将重点逐渐聚焦于那些被错分的样本点，这种做法背后的数学原因，就是这讲的内容。 在用bootstraping生成g的过程中，由于抽样对不同的g就生成了不同的u，接下来就是不断的调整u，使得Ein最小。 g越不同，通过...
阅读全文
摘要：这一节讲如何将得到的feature或hypothesis组合起来用于预测。 1. 林老师给出了几种方法 在选择g时，需要选择一个很强的g来确保Eval最小，但如果每个g都很弱该怎么办呢 这个时候可以选择Aggregation的方式将这些若g组合起来，组合起来的G，既能fea...
阅读全文
摘要：这一节主要讲的是如何将Kernel trick 用到 logistic regression上。 从另一个角度来看soft-margin SVM，将其与 logistic regression进行对比，发现可将 SVM看作一个正则化模型： 将SVM看作一个regularize model，是为了更好
阅读全文
摘要：之前的SVM非常的hard，要求每个点都要被正确的划分，这就有可能overfit，为此引入了Soft SVM，即允许存在被错分的点，将犯的错放在目 标函数中进行优化，非常类似于正则化。 将Soft SVM进行对偶转化后，发现与之前的hard SVM非常的像，只是其中一个系数多了个上界。 通过对阿尔法
阅读全文
摘要：这一节讲的是核化的SVM，Andrew Ng的那篇讲义也讲过，讲的也不错。 首先讲的是kernel trick，为了简化将低维特征映射高维特征后的计算，使用了核技巧。讲义中还讲了核函数的判定，即什么样的函数K能使用kernel trick。此外，核函数还可以衡量两个特征的相似度，值...
阅读全文
摘要：极其淡腾的一学期终于过去了，暑假打算学下台大的这门机器学习技法。 第一课是对SVM的介绍，虽然之前也学过，但听了一次感觉还是很有收获的。这位博主总结了个大概，具体细节还是 要听课：http://www.cnblogs.com/bourneli/p/4198839.html 这位博主总结的很详细：ht
阅读全文
摘要：转自：http://blog.sina.com.cn/s/blog_641289eb0101e2ld.htmlPart 2总结一下一个粗略的建模过程：首先，弄清楚问题是什么，能不能用机器学习的思路去考虑：是否有pattern？是否规则不明确？是否有数据？如果可以用，那么考虑，问题的学习目标是什么，有...
阅读全文
摘要：期末终于过去了，看看别人的总结：http://blog.sina.com.cn/s/blog_641289eb0101dynu.html接触机器学习也有几年了，不过仍然只是个菜鸟，当初接触的时候英文不好，听不懂课，什么东西都一知半解。断断续续的自学了一些公开课和书以后，开始逐渐理解一些概念。据说，心...
阅读全文
摘要：这节课是最后一节，讲的是做机器学习的三个原则。 第一个是Occan's razor，即越简单越好。接着解释了什么是简单的hypothesis，什么是简单的model。关于为什么越简单越好，林老师从大致思想上进行了解释：如果一个简单的模型能对数据分得很好，那说明输入的资料是有规律的资料（这被...
阅读全文
摘要：这节课是接着上节的正则化课程的，目的也是为了防止overfitting。 第一小节讲了模型的选择，前面讲了很多模型，那么如何做出正确的选择呢？我们的目标是选择最小的Eout目标函数。首先应避免视觉化选择，因为高维。假如选Ein最小的化，则会出现过拟合。虽然能用test数据选择最好的，但通常...
阅读全文
摘要：这一节讲的是正则化，在优化中一直会用到正则化项，上课的时候老师一句话代过，没有作过多的解释。听完这节课后，才明白好大学和野鸡大学的区别有多大。总之，这是很有收获的一节课。 首先介绍了为什么要正则化，简单说就是将复杂的模型用简单的模型进行表示，至于如何表示，这中间有一系列推导假设，很有创意。 ...
阅读全文
只有注册用户登录后才能阅读该文。
摘要：这一节讲的是如何将线性不可分的情况转为非线性可分以及转换的代价。特征转换是机器学习的重点。最后得出重要的结论是，在做转换时，先从简单模型，再到复杂模型。参考：http://www.cnblogs.com/ymingjingr/p/4340977.html
阅读全文
摘要：这一节讲线性模型，先将几种线性模型进行了对比，通过转换误差函数来将linear regression 和logistic regression 用于分类。 比较重要的是这种图，它解释了为何可以用Linear Regression或Logistic Regression来替代Linear Classi
阅读全文
摘要：如果只想得到某种概率，而不是简单的分类，那么该如何做呢？在误差衡量问题上，如何选取误差函数这段很有意思。 接下来是如何最小化Ein，由于Ein是可凸优化的，所以采用的是梯度下降法:只要达到谷底，就找到了最优解。与PLA对比发现， logistic regression的梯度下降其实也是调整错分的w（
阅读全文
摘要：之前一直在讲机器为什么能够学习，从这节课开始讲一些基本的机器学习算法，也就是机器如何学习。这节课讲的是线性回归，从使Ein最小化出发来，介绍了 Hat Matrix，要理解其中的几何意义。最后对比了linear regression 和 binary classification，并说明了linea...
阅读全文
摘要：这一节主要讲的是，加入noise后，前面推导的一系列结论仍然有效。参考：http://www.cnblogs.com/HappyAngel/p/3653093.html
阅读全文
摘要：这节课听起来非常的抽象，深感自己的智商余额不足，也说明台大的这门机器学习课程理论化程度很高。还是看看这位博主的吧，总起的还不错，看后总算能明白点了：http://www.cnblogs.com/HappyAngel/p/3622333.html
阅读全文
摘要：这节课的主题是接着上一节课的。上一节说到M为有限个时，我们才有可能得到Ein=Eout，那么对于有无限个M的PLA，它为什么也能work呢？接着提出了成长函数的概念，我们的目的就变成了寻找一个可以替代M、比M小的成长函数，并提出了断点的概念。具体参考这位博主的笔记：http://www.cnblog...
阅读全文
浙公网安备 33010602011771号