摘要：最优边界分类器（最大间隔分类器）(续学习笔记五) 在线性分类器中，我们要找到一个边界线，使得几何间隔最大，即： ||w||在几何间隔中是无关紧要的，这里取1，使得几何间距和函数间距一致。 但是这个并不是一个凸函数最优求解问题，无法使用求解软件进行求解。下面进行变形，首先先将几何间距化为函数间距，由于 阅读全文

摘要：朴素贝叶斯算法(Naive Bayes)(续学习笔记四) 两个朴素贝叶斯的变化版本 x_i可以取多个值，即p(x_i｜y)是符合多项式分布的，不是符合伯努利分布的。其他的与符合伯努利的情况一样。(同时也提供一种思路将连续型变量变成离散型的，比如说房间的面积可以进行离散分类，然后运用这个朴素贝叶斯算法 阅读全文

摘要：生成学习算法 判别算法：进行P(y|x)的计算或者是进行h(x)（其中h只会是0与1）的计算。 生成学习算法：进行P(x|y)的建模，即给定类的条件下，某种特征显示的结果。同时也会对P(y)进行建模。 根据贝叶斯公式，我们可以得到，其中p(x) = p(x|y = 1)p(y = 1) + p(x| 阅读全文

摘要：牛顿方法（此方法为续学习笔记二） 如果我们想找到一个x，使得f(x)=0。那么先随机找一个x_0，在该点处做切线，这条切线与x轴交点为x_1，在x_1处做f的切线，以此类推。 记x_0与x_1之间的距离为Delta。那么， （将自变量改为theta）,。因为Delta是两个相邻自变量的距离，那么， 阅读全文

摘要：定义一些名词 欠拟合（underfitting）：数据中的某些成分未被捕获到，比如拟合结果是二次函数，结果才只拟合出了一次函数。 过拟合（overfitting）：使用过量的特征集合，使模型过于复杂。 参数学习算法（parametric learning algorithms）：用固定的参数进行数据 阅读全文

摘要：机器学习定义 1959年Arthur Samuel曾经这样定义机器学习：Field of study that gives computers the ability to learn without being explicitly programmed.Samuel 本人也写了一个西洋棋的程序， 阅读全文