君子博学而日参省乎己 则知明而行无过矣

摘要： 《黑天鹅》中多次提到大数定律可能会愚弄我们，作为数理统计和概率论中两个经典的理论（中心极限定理和大数定律）之一，为什么遇到黑天鹅事件时就会失效？或者说大数定律在遇到任何的小概率事件时都有可能“失效”，需要谨慎地认识，以防掉入应用中的陷阱。大数定律 大数定律（Law of Large Numbers... 阅读全文

摘要： K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法，总体来说KNN算法是相对比较容易理解的算法。其中的K表示最接近自己的K个数据样本。KNN算法和K-Means算法不同的是，K-Means算法用来聚类，用来判断哪些东西是一个比较相近的类型，而KNN算法是... 阅读全文

摘要： 最近在学习一些数据挖掘的算法，看到了这个算法，也许这个算法对你来说很简单，但对我来说，我是一个初学者，我在网上翻看了很多资料，发现中文社区没有把这个问题讲得很全面很清楚的文章，所以，把我的学习笔记记录下来，分享给大家。在数据挖掘中，k-Means 算法是一种cluster analysis的算法，其... 阅读全文

摘要： 在2008年参加国家统计局举办的建模大赛期间，书店书架上的《女士品茶（The Lady Tasting Tea）――20世纪统计怎样变革了科学》引起了我们的关注，《女士品茶》书名一改以往统计类书籍的枯燥和灰暗，新意盎然。匆匆翻过后，便买下了。《女士品茶》并不是一本女性读物，也不是一本专门讲茶的读物，... 阅读全文

摘要： 1.1、什么是K近邻算法何谓K近邻算法，即K-Nearest Neighbor algorithm，简称KNN算法，单从名字来猜想，可以简单粗暴的认为是：K个最近的邻居，当K=1时，算法便成了最近邻算法，即寻找最近的那个邻居。为何要找邻居？打个比方来说，假设你来到一个陌生的村庄，现在你要找到与你有着... 阅读全文

摘要： 动机在机器学习领域中，我们常常会遇到维数很高的数据，有些数据的特征维度高达上百万维，很显然这样的数据是无法直接计算的，而且维度这么高，其中包含的信息一定有冗余，这时就需要进行降维，总的来说，我们降维的主要目的有如下几条:在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中造成了误... 阅读全文

摘要： 什么是决策树其实网络上有着很多说明决策树的文章，比如参考资料中的1和2，主要是因为这个机器学习的方法实在太经典了，有着很多不同的算法实现，包括最早的由Quinlan在1986年提出的ID3算法、1993年同样是Quinlan提出的C4.5算法以及由Braiman等人在1984年提出的CART算法。尽... 阅读全文

摘要： 朴素贝叶斯在经典的分类器模型中，Naive Bayes Classifier应该是比较简单的一种了，比之前的决策树要简单得多，但是它虽然简单，但是一点都不简约，在很多情况下它往往能得到比较好的分类效果。通常的分类问题中，每一个实例都可以用一个特征向量来表示的，其相应的类别用来表示，且,。其中表示样本... 阅读全文

摘要： 作为应用广泛的一种统计模型(尤其是在自然语言处理(NLP)中),隐马尔科夫模型是非常值得一说的，本文就隐马尔科夫模型的原理和应用介绍进行说明。由于隐马尔科夫模型有着很多不同的具体算法实现，本文暂时跳过这部分内容，算法部分会另外写成一篇博文。马尔科夫链在语言模型及其实现中，我曾经简单地提到过马尔科夫链... 阅读全文

摘要： 感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面。为此，导入基于误分类的损失函数，利用梯度下降法对损失... 阅读全文