随笔分类 -  机器学习

摘要：今天在用C++实现一个博客中(http://www.cnblogs.com/phinecos/archive/2008/10/21/1316044.html)的朴素贝叶斯分类器。发现代码中计算分类条件概率的公式与一般书上写的不一样。浏览评论的时候发现有人跟我有一样的疑问. 正庆幸找到一个明白了，突然LX的回答又给我泼了一瓶冷水。 神马，伯努利贝叶斯! 听都没说过。顿时对自己薄弱的基础知识感到羞愧, 赶紧百度之。找到了一篇论文：《改善朴素贝叶斯在文本分类中的稳定性》，里面对二项独立模型和多项式模型都进行了介绍。（1） 二项独立模型(BIM) 二项独立模型，又称多变量伯努利模型（Multi... 阅读全文

摘要：一.背景 5月9号到北大去听hulu的讲座《推荐系统和计算广告在视频行业应用》，想到能见到传说中的项亮大神，特地拿了本《推荐系统实践》求签名。讲座开始，主讲人先问了下哪些同学有机器学习的背景，我恬不知耻的毅然举手，真是惭愧。后来主讲人在讲座中提到了最小二乘法，说这个是机器学习最基础的算法。神马，最基础，我咋不知道呢！ 看来以后还是要对自己有清晰认识。 回来赶紧上百度，搜了下什么是最小二乘法。先看下百度百科的介绍：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为 阅读全文

摘要：这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。 二.应用场景 1.给定许多组数据（xi, yi），xi （向量）为输入，yi为输出。设计一个线性函数y=h（x）去拟合这些数据。 2.感知机：感知机（perceptron）为二类分类的线性分类模型。 输入为实例的特征向量，输出为实例的类别， 取+1 和 -1 二值。 下面分别对这两种应... 阅读全文