乔锐

摘要：本讲先介绍了贝叶斯统计和规范化；之后简单介绍了在线学习的概念；之后介绍了机器学习算法设计中的问题诊断技巧；之后介绍了两种分析技巧：误差分析与销蚀分析；最后介绍了两种应用机器学习算法的方式与适用场景。 关于贝叶斯统计和规则化我个人认为就是找出新的估计方法来代替原有的最大似然估计这个方法来... 阅读全文

摘要：function y = f(x)y=（x-2）^2;function x0syms x;x0=rand;while f(x0)~=0x0=-f(x0)/vpa(subs(diff(（x-2）^2),x,x0))+x0;end; 版权声... 阅读全文

摘要：function aalpha = 0.0001;[m,n] = size(q1x);max_iters = 500;X = [ones(size(q1x,1),1), q1x]; % append col of ones for intercept termtheta = zeros(n+1, 1... 阅读全文

摘要：本讲首先介绍了VC维的概念——该概念能够将关于ERM一般误差的界的结论推广到无限假设类的情形；之后介绍了模型选择问题——具体介绍了交叉验证方法以及几种变形；最后介绍了特征选择问题——具体介绍了两类方法：封装特征选择和过滤特征选择。VC维定义：给定一个由d个点构成的集合，如果假设类集合H可以实... 阅读全文

摘要：实在写不动了，将word文档转换为PDF直接截图了... 版权声明：本文为博主原创文章，未经博主允许不得转载。 阅读全文

摘要：本次的笔记参考了点击打开链接中的一部分观点，用了作者的一部分图像，若有侵权，请及时联系我。 本讲首先介绍了核的概念——它在SVM以及许多学习算法中都有重要的应用，之后介绍了L1 norm软间隔SVM——它是一种SVM的变化形式，可以处理非线性可分隔的数据，最后介绍了SMO算法——一种高效的可以... 阅读全文

摘要：本课首先提出了原始的优化问题：最优间隔分类器问题，之后介绍了对偶问题的概念和KKT条件，之后基于原始优化问题的对偶问题的分析，介绍了SVM算法。课程的最后对SVM算 法进行了评价，以引出下节课对核方法的介绍。回顾：对于几何间隔来说，以相同的比例缩放w,b，不会对几何间隔造成影响。对最大间隔分... 阅读全文

摘要：本课首先介绍了两种朴素贝叶斯算法的事件模型，之后介绍了神经网络算法（neural networks），并在最后介绍了两个重要的概念：函数间隔和几何间隔，基于这两个概念提出了一个线性分类算法：最大间隔分类器算法。该算法用于引出一个非常重要的非线性分类算法：支持向量机。关于支持向量机的具体内容会... 阅读全文

摘要：本课首先介绍了一类新的学习算法——生成学习算法（Generative learning algorithms），并详细地介绍了该算法的一个例子：高斯判别分析（GDA）；之后对生成学习算法与之前的判别学习算法进行了简单的对比；最后介绍了一个适合对文本进行分类的算法——朴素贝叶斯算法，并结合该算... 阅读全文

摘要：课程大纲牛顿方法（用来代替梯度上升对logistic回归进行拟合）指数分布族（exponential family）广义线性模型牛顿方法牛顿方法是用来代替梯度上升对logistic回归进行拟合的算法，它的优点是，针对特征种类不是很多的情况，计算速度比梯度上升算法快很多。牛顿方法如上图所示。假设要求一... 阅读全文

摘要：课程大纲欠拟合的概念（非正式）：数据中某些非常明显的模式没有成功的被拟合出来。如图所示，更适合这组数据的应该是而不是一条直线。 过拟合的概念（非正式）：算法拟合出的结果仅仅反映了所给的特定数据的特质。非参数学习方法线性回归是参数学习方法，有固定数目的参数以用来进行数据拟合的学习型算... 阅读全文

摘要：三个问题：线性回归、梯度下降、正规方程组监督学习的工作流程如下所示：对于学习算法，我们这里应用线性回归，可以得到。在这里θ代表的是参数。x1、x2代表的是两种不同的特征。举例来讲，预测房价，我们可以根据房屋面积以及卧室数目两种特征进行预测，其中房屋面积为x1，卧室数目为x2。对于h(x)，若定义x0... 阅读全文

摘要：对于机器学习的定义：Arthur Samuel的非正式定义：在不直接针对问题编程的情况下赋予计算机学习能力的一个研究领域。TomMitchell ：对于一个计算机程序来说，给他一个任务T和一个性能测量方法P，如果在经验E的影响下，P对T的测量结果得到了改进，那么就说该程序从E中学习。总体上来讲，机器... 阅读全文

摘要：今天开始正式接触机器学习，20集的课程争取在开学前看完。每看完一集会在博客记录笔记，加油！ 版权声明：本文为博主原创文章，未经博主允许不得转载。 阅读全文