一动不动的葱头

摘要： knn算法是最近邻算法。直观的理解上，非常容易。为啥？就是在一批已知标签的训练集上，把一个测试集扔进去，根据与训练集的距离大小排列。距离最小的k个挑选出来，查看他们的标签类别。最多那个类别被视为该测试集的类。 怎么理解？假如要判断你喜欢什么运动。我先从和你走得最近的10个朋友入手。假如这10... 阅读全文

摘要： 一、一个例子用一种形象的形式表达出来，这里考虑用一维向量来描述：一条线上，有1000个点，根据距离紧挨程度分成10类，怎么分？（1）在线上随机取10个类mi(i=1,2,...,10)。（2）分析1000个点，根据距离那个类近，将之归于那类。（3） for i=1:10 对于第i类，将所有i类的... 阅读全文

摘要： 回答1： 最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变 阅读全文

摘要： 一、为什么有CART回归树 以前学过全局回归，顾名思义，就是指全部数据符合某种曲线。比如线性回归，多项式拟合（泰勒）等等。可是这些数学规律多强，硬硬地将全部数据逼近一些特殊的曲线。生活中的数据可是千变万化。那么，局部回归是一种合理地选择。在斯坦福大学NG的公开课中，他也提到局部回归的好处。其中，C... 阅读全文

摘要： 决策树 这个决策树实际上也是看了很多次，如果没有自己整理一下，推导推导，很难知其所以然，总是浅尝辄止永远不会真正地懂得。成功需要四样东西：孤独，勇气，坚持，舍弃。然而并不没有做到。废话少说，马上进入正题。一、为什么会有决策树 决策树就是一批IF-THEN的语句，源于生活，无处不在。当人们进行选择... 阅读全文

摘要： 启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被... 阅读全文

摘要： EM算法 看到别人的博客写得那么好，自己也不动于衷，于是，根据自己的理解也写一下。虽然写这么多字的博客很费劲，但是，这是自己重新组织和思考的一个过程，受益匪浅。大多根据自己的理解，如有错误，望批评指正，来世做牛做马。废话少说，马上进入正题。 这里，主要根据GMM模型来说明这个算法的。 一、为什么提出 阅读全文

摘要： 格式：n=norm(A,p)功能：norm函数可计算几种不同类型的矩阵范数,根据p的不同可得到不同的范数以下是Matlab中help norm 的解释NORM Matrix or vector norm. For matrices... NORM(X) is the large... 阅读全文

摘要： • 常用的调试方法。• (1) 设置或清除断点：使用快捷键F12。• (2) 执行：使用快捷键F5。• (3) 单步执行：使用快捷键F10。• (4) step in：当遇见函数时，进入函数内部，使用快捷键F11。• (5) step out：执行流程跳出函数，使用快捷键Shift+F11。• (6... 阅读全文

摘要： mvnrnd - Multivariate normal random numbers This MATLAB function returns an n-by-d matrix R of random vectors chosen from the multivariate normal d... 阅读全文