君子博学而日参省乎己 则知明而行无过矣

摘要： 什么是决策树其实网络上有着很多说明决策树的文章，比如参考资料中的1和2，主要是因为这个机器学习的方法实在太经典了，有着很多不同的算法实现，包括最早的由Quinlan在1986年提出的ID3算法、1993年同样是Quinlan提出的C4.5算法以及由Braiman等人在1984年提出的CART算法。尽... 阅读全文

摘要： 朴素贝叶斯在经典的分类器模型中，Naive Bayes Classifier应该是比较简单的一种了，比之前的决策树要简单得多，但是它虽然简单，但是一点都不简约，在很多情况下它往往能得到比较好的分类效果。通常的分类问题中，每一个实例都可以用一个特征向量来表示的，其相应的类别用来表示，且,。其中表示样本... 阅读全文

摘要： 作为应用广泛的一种统计模型(尤其是在自然语言处理(NLP)中),隐马尔科夫模型是非常值得一说的，本文就隐马尔科夫模型的原理和应用介绍进行说明。由于隐马尔科夫模型有着很多不同的具体算法实现，本文暂时跳过这部分内容，算法部分会另外写成一篇博文。马尔科夫链在语言模型及其实现中，我曾经简单地提到过马尔科夫链... 阅读全文

摘要： 感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面。为此，导入基于误分类的损失函数，利用梯度下降法对损失... 阅读全文

摘要： Logistic回归在实际应用中，除了预测问题，其实更多的是 分类问题，回归问题和分类问题其实是非常相似的，主要区别是分类问题的输出变量Y是取有限个离散值的，而回归问题本质上是一个拟合问题，给定一组已知数据，选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。面对两个相似的问题，我们就要考虑... 阅读全文

摘要： 最小二乘法简介最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。上面的定义是摘自维基百科，在实际拟合应用中，而我个人直观的理解就是，最小二乘法是一个评价函数(标... 阅读全文

摘要： 前言最近在看斯坦福的《机器学习》的公开课，这个课程是2009年的，有点老了，不过讲的还是很好的，廓清了一些我以前关于机器学习懵懂的地方。我的一位老师曾经说过:什么叫理解？理解就是你能把同一个事情用自己的语言表达出来，并且能让别人听得懂。本着这样的原则，同时也为了证明自己是”理解”的，于是决定打算在学... 阅读全文

摘要： 爱利亚的芝诺为了捍卫他老师巴门尼德关于“存在”不动、是一的学说，提出了著名的运动悖论和多悖论，以表明运动和多是不可能的。他的结论在常人看来当然很荒谬，但他居然给出了乍看起来颇令人信服的论证，故人们常常称这些论证构成了悖论或佯谬。不过，若细细推敲，其结论未必荒谬，其论证未必令人信服，故中性的称这些论证... 阅读全文

摘要： 多年来，我都对戈特弗里德·莱布尼茨很感兴趣，尤其是因为早在3个世纪以前，他就似乎想要制造一种类似Mathematica和Wolfram Alpha的工具，没准还可能会写本《一种新科学》。所以，在最近一次德国之旅中，我对能够拜访坐落在汉诺威的莱布尼茨文献馆感到兴奋不已。翻阅着他发黄的手稿（仍旧够挺，经... 阅读全文

摘要： 十七世纪后期，英国数学家牛顿和德国数学家莱布尼茨分别独立创建了微积分学，成为解决众多问题的重要而有力的工具，并在实际应用中获得了巨大成功，然而，微积分学产生伊始，迎来的并非全是掌声，在当时它还遭到了许多人的强烈攻击和指责，原因在于当时的微积分主要建立在无穷小分析之上，而无穷小后来证明是包含逻辑矛盾的... 阅读全文