随笔分类 -  Machine Learning

每日一个机器学习算法——k近邻分类
摘要：K近邻很简单。简而言之，对于未知类的样本，按照某种计算距离找出它在训练集中的k个最近邻，如果k个近邻中多数样本属于哪个类别，就将它判决为那一个类别。由于采用k投票机制，所以能够减小噪声的影响。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较... 阅读全文
posted @ 2014-09-13 19:35 IT屁民 阅读(652) 评论(0) 推荐(0)
每日一个机器学习算法——信息熵
摘要：1 定义2 直观解释信息熵用来衡量信息量的大小若不确定性越大，则信息量越大，熵越大若不确定性越小，则信息量越小，熵越小比如A班对B班，胜率一个为x，另一个为1-x则信息熵为 -(xlogx + (1-x)log(1-x))求导后容易证明x=1/2时取得最大，最大值为2也就是说两者势均力敌时，不确定性... 阅读全文
posted @ 2014-09-13 19:20 IT屁民 阅读(21329) 评论(1) 推荐(2)
每日一个机器学习算法——机器学习实践
摘要：知道某个算法，和运用一个算法是两码事儿。当你训练出数据后，发觉模型有太大误差，怎么办？1）获取更多的数据。也许有用吧。2）减少特征维度。你可以自己手动选择，也可以利用诸如PCA等数学方法。3）获取更多的特征。当然这个方法很耗时，而且不一定有用。4）添加多项式特征。你在抓救命稻草么？5）构建属于你自己... 阅读全文
posted @ 2014-08-26 18:53 IT屁民 阅读(4417) 评论(0) 推荐(0)
每日一个机器学习算法——正则化
摘要：在对数据进行拟合，学习模型的过程中，会出现以下情况：1）high variance, overfitting.过拟合2）high bias, underfiiting.欠拟合过拟合出现的原因1）太多的特征。2）过少的训练数据。如何解决？1）减少特征数2）模型选择算法（model selection ... 阅读全文
posted @ 2014-08-26 17:27 IT屁民 阅读(769) 评论(0) 推荐(0)
每日一个机器学习算法——adaboost
摘要：在网上找到一篇好文，直接粘贴过来，加上一些补充和自己的理解，算作此文。My education in the fundamentals of machine learning has mainly come from Andrew Ng’s excellent Coursera course on ... 阅读全文
posted @ 2014-08-24 22:32 IT屁民 阅读(2117) 评论(0) 推荐(0)
每日一个机器学习算法——LR(逻辑回归)
摘要：本系列文章用于汇集知识点，查漏补缺，面试找工作之用。数学公式较多，解释较少。1.假设2.sigmoid函数:3.假设的含义：4.性质：5.找一个凸损失函数6.可由最大似然估计推导出单个样本正确预测的概率为只是3两个式子合并在一起的表示方法整个样本空间的概率分布为取对数展开得，作为损失函数，并且最小化... 阅读全文
posted @ 2014-08-17 20:40 IT屁民 阅读(21134) 评论(0) 推荐(2)