人工智能相关基本定理

没有免费午餐定理（NFL）

由Wolpert 和Macerday在最优化理论中提出的。没有免费午餐定理证明：对于基于迭代的最优化算法，不存在某种算法对所有问题（有限的搜索空间内）都有效。

如果一个算法对某些问题有效，那么它一定在另外一些问题上比纯随机搜索算法更差。也就是说，不能脱离具体问题来谈论算法的优劣，任何算法都有局限性，必须要“具体问题具体分析”。

没有免费午餐定理对于机器学习算法也同样适用。不存在一种机器学习算法适合于任何领域或任务。

丑小鸭定理（Ugly Duckling Theorem）

1969 年由渡边慧提出的[Watanable,1969]。“丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。因为世界上不存在相似性的客观标准，一切相似性的标准都是主观的。

奥卡姆剃刀原理

由14 世纪逻辑学家William of Occam提出的一个解决问题的法则：“如无必要，勿增实体“。奥卡姆剃刀的思想和机器学习上正则化思想十分类似：简单的模型泛化能力更好。如果有两个性能相近的模型，我们应该选择更简单的模型。

因此，在机器学习的学习准则上，我们经常会引入参数正则化来限制模型能力，避免过拟合。

可能近似正确（Probably Approximately Correct，PAC）学习理论

机器学习中一个很关键的问题是期望错误和经验错误之间的差异，称为泛化错误（Generalization Error）。泛化错误可以衡量一个机器学习模型是否可以很好地泛化到未知数据。一个PAC 可学习（PAC Learnable）的算法是指该学习算法能够在多项式时间内从合理数量的训练数据中学习到一个近似正确的假设。

赫布理论（Hebb's rule）

关键词： 学习和记忆、突触可塑性（synaptic plasticity）

1949年，加拿大心理学家Donald Hebb在The Organization of Behavior书中首次提出的理论，解释在学习过程中大脑中的神经细胞是如何改变和调整（adapt）的。赫布理论是突触可塑性的基本机制，（下面这句话大家可以无视...）当presynaptic neuron重复并持久地刺激postsynaptic neuron时，这个synaptic efficacy会增加。

韦伯定理（Weber's Law)

关键词： 感知（perception）、五觉（听、看、嗅、尝、触）

也称感觉阈限定律。在同类刺激之下，其差异阈限的大小是随着标准刺激强弱而成一定比例关系的，K=ΔI/I， K为常数。

比如，当你在一个嘈杂的环境中，你必须要大声吼出来，别人才听得到你说话；而在一个安静的房间里，你细声细语别人也听得到。换句话说，韦伯定理是指，人的感知临界点（如听觉，被人听到所需要最低的音量，就是人的听觉感知临界点）是与背景环境中的强度（如背景噪音的音量）是成正比的。

戴尔原则（Dale principle）

 长期以来，一直认为一个神经元内只存在一种递质，其全部神经末梢均释放同一种递质。这一原则称为戴尔原则(Dale principle)。

克劳格原理（The August Krogh Principle）

August Krogh是著名的丹麦生理学家，由于他对微血管的解剖和功能的出色研究而于1946年获得诺贝尔生理医学奖。1929年Krogh在一篇“生理学进展”(Krogh, A. 1929.  Progress in physiology. Am J Physiol  90:243-251.)的论文中写道“对于大多数的科学问题，总会有某些动物，或者这些动物的少数，最适合用于（这些科学问题的）研究”，也就是说对于任何一个科学上的难题，总会有比较合适的动物（模型）可供实验研究。发现Krebs循环的Hans Krebs后来将这句名言称为 “奥古斯特·克劳格原理” 。Krebs对奥古斯特·克劳格原理的描述是“对于很多科学问题，总会有一种动物最适合于研究”；还有一些描述如“对于几乎所有的科学问题，总会有一种动物最适合于研究” 。

归纳偏置

在机器学习中，很多学习算法经常会对学习的问题做一些假设，这些假设就称为归纳偏置（Inductive Bias）[Mitchell, 1997]。

比如在最近邻分类器中，我们会假设在特征空间中，一个小的局部区域中的大部分样本都同属一类。

在朴素贝叶斯分类器中，我们会假设每个特征的条件概率是互相独立的。归纳偏置在贝叶斯学习中也经常称为先验（Prior）。

贝叶斯定理 （Bayes' theorem）

在神经科学中，它最重要的作用在于描述神经系统是如何对 不确定性(uncertainty）采取反应的，特别适当进入一个完全新的环境时，时时刻刻都有新信息从不同的感知渠道进入大脑，神经系统是如何随着新信息更新自己的呢？

同时，贝叶斯定理在不同大脑功能的不同层次上有很多应用，从单个神经元的尖峰性质（spiking behaviour）到 高级、复杂的认知决策系统，是个非常强大的理论。