摘要：原理对于求方程解问题，假设有函数 f :R->R，我们希望找到满足 f(θ)=0 的θ值. 这里θ是实数. 牛顿方法执行下面的更新 求解过程如图所示简单的来说就是通过求当前点的导数得到下一个点.用到的性质是导数值等于该点切线和横轴夹角的正切值利用凸函数的性质，最值所在点 l'（θ）=0 令f(θ)=l'(θ)牛顿方法的一般化： 如果θ是一个向量，那么： H称为海森矩阵(Hessian mat... 阅读全文

摘要：原理 对于没有约束限制的优化问题，可以每次仅更新函数中的一维，固定其他参数，迭代多次以达到求解优化函数的目的。 （W表示待求凸函数，α向量是待求解） 具体过程如下 举例 求解问题 f(x1,x2) = 3x12 + x22 + 4x1x2 - 8 迭代次数计数 { 举例 求解问题 f(x1,x2) 阅读全文

摘要：2017/3/21 9:08:46 本讲大纲： 1.生成学习算法（Generative learning algorithm） 2.高斯判别分析（GDA，Gaussian Discriminant Analysis） 3.朴素贝叶斯（Naive Bayes） 4.拉普拉斯平滑（Laplace smo 阅读全文

摘要：本讲大纲： 1.牛顿方法(Newton’s method) 2.指数族(Exponential family) 3.广义线性模型(Generalized linear models) 本讲大纲： 1.牛顿方法(Newton’s method) 2.指数族(Exponential family) 3. 阅读全文

摘要：欠拟合与过拟合（underfiting、overfiting） 欠拟合（举例：7个样本点用1次项假设拟合房屋价格和面积的关系，损失了2次成分） 过拟合（举例：7个样本点用6次项假设拟合房屋价格和面积的关系） 参数学习算法（parametric learning algorithm） 线性回归 非参数 阅读全文

摘要：线性回归（Linear regesstion） Notation m：样本数量 n：特征数量 #feature X：输入变量/特征 y：输出变量/目标变量 (x , y )、（x1，x2，y）：训练样本 (xi,yi)：第i组训练样本 假设 代价函数 Cost Function（最小二乘） 目标函数 阅读全文

摘要：什么是机器学习？ 一个程序对于任务T，输入经验E，通过性能评测方法P衡量该程序在T的性能得到改进。 监督学习 Regression（举例：房屋价格与房屋面积的关系） Classification（举例 ：根据年龄和肿瘤大小判断乳腺肿瘤是良性/恶性） 非监督学习 clustering（举例：鸡尾酒会问 阅读全文