随笔分类 -  机器学习

摘要：最近一直在回顾linear regression model和logistic regression model，但对其中的一些问题都很疑惑不解，知道我看到广义线性模型即Generalized Linear Model后才恍然大悟原来这些模型是这样推导的，在这里与诸位分享一下，具体更多细节可以参... 阅读全文

摘要：决策树是简单的，易懂的，易实现的，同样也是强大的。 决策树本身是一连串的if-else的组合，其最关键的问题就是对于一个输入数据集我们应该怎么去寻找这个if-else规则。按照先贤们的分法主要有如下几种：ID3,C4.5,CART。本文也将介绍这三种决策树。 一、ID3 要想弄明白ID3决... 阅读全文

摘要：Bagging 和 Boosting 都是一种将几个弱分类器（可以理解为分类或者回归能力不好的分类器）按照一定规则组合在一起从而变成一个强分类器。但二者的组合方式有所区别。 一、Bagging Bagging的思想很简单，我选取一堆弱分类器用于分类，然后最终结果投票决定，哪个票数多就属于哪一... 阅读全文

摘要：SVM是机器学习中神一般的存在，虽然自深度学习以来有被拉下神坛的趋势，但不得不说SVM在这个领域有着举足轻重的地位。本文从Hard SVM 到 Dual Hard SVM再引进Kernel Trick，然后推广到常用的Soft Kernel SVM。 一、Hard SVM SVM本身是从感知... 阅读全文