摘要： 欧拉-拉格朗日方程(Euler -Lagrange equation) 为变分法中的一条重要方程。它提供了求泛函的平稳值的一个方法，其最初的想法是初等微积分理论中的“可导的极值点一定是稳定点（临界点）”。当能量泛函包含微分时，用变分方法推导其证明过程，简单地说，假设当前的函数（即真实解）已知，那么这个解必然使能量泛函取全局最小值。 阅读全文

摘要： 函数在其定 义域的某些局部区域所达到的相对 最大值或相对最小值。当函数在其 定义域的某一点的值大于该点周围 任何点的值时，称函数在该点有极 大值; 当函数在其定义域的某一点的值小于该点周围任何点的值时， 称函数在该点有极小值。这里的极 大和极小只具有局部意义。因为函 数的一个极值只是它在某一点附近 的小范围内的极大值或极小值。函 数在其整个定义域内可能有许多极 大值或极小值，而且某个极大值不 一定大于某个极小值。 阅读全文

摘要： 支持向量机缩写是SVM（support vaector machine），这里的“机（machine）”是一个算法。在机器学习领域，常把一些算法看做是一个机器，如感知机（也叫感知器）。支持向量机本身是一种监督学习算法，它广泛的应用于统计分类以及回归分析中。 阅读全文

摘要： 基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数 f(x1,x2,...) 在 g(x1,x2,...)=C 的约束条件下的极值的方法。其主要思想是引入一个新的参数 λ （即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。拉格朗日乘子是数学分析中同一名词的推广。 阅读全文

摘要： 如何改进机器学习算法是个很大的话题，其中包含了众多的方法和概念，比如交叉验证、偏差与方差、学习曲线、数据倾斜、查准率和召回率等，理解了这些，才能对算法进行正确评估。 阅读全文

摘要： 反向传播算法很高效，但对梯度的求解异常繁琐，实际上，即使某处代码计算出错误的梯度，仍然会得到一个模型，尽管这个模型的J(Θ)很小，但对新数据的拟合非常差，此时不得不重新审视所有代码。是否可以从一开始就知道梯度是否正确呢？ 阅读全文

摘要： BP算法(即反向传播算法)，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合，因此具有很强的函数复现能力。这是BP算法得以应用的基础。 阅读全文

摘要： 1997年世界上发生过两件大事，一是克隆羊多利诞生，另一件是IBM 电脑“深蓝”击败国际象棋世界冠军。就在这一年，我从一本电子游戏杂志上看到了一篇关于计算机不可能战胜职业围棋选手的文章。 二十年过去了，2016 年一月底，谷歌在自然杂志上正式公开发表论文，宣布其以深度学习技术为基础的电脑程序 AlphaGo，在 2015年 十月，连续五局击败欧洲冠军、职业二段樊辉。这是第一次机器击败职业围棋选手。 阅读全文

摘要： Logistic Regression虽然名字里带“回归”，但是它实际上是一种分类方法，“逻辑”是Logistic的音译，和真正的逻辑没有任何关系。 阅读全文

摘要： 我们希望机器学习得到好的模型，该模型能够从训练样本中找到一个能够适应潜在样本的普遍规律。然而，如果机器学习学的“太好”了，以至把样本的自身特点当作潜在样本的一般特性，这就使得模型的泛化能力（潜在样本的预测能力）下降，从而导致过拟合。反之，欠拟合就是学习的“太差”，连训练样本都没有学好。 阅读全文