github《机器学习-周志华》手写笔记 转电子版 第一章

第1章 绪论

1.1 引言

机器学习(Machine Learning) 所研究的主要内容是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm）。可以说机器学习是研究关于“学习算法”学问。

1.2 引言

一组记录的集合称为一个“数据集”（data set），其中每条记录是关于一个事件或对象的描述，称为一个“示例”（instance）或“样本”（sample）。反映事件或对象在某方面的表现或性质的事项，称为“属性”（attribute）或“特征”（feature），属性上的取值称为“属性值”，属性张成的空间称为“属性空间”（attribute space）、“样本空间”或“输入空间”。

由于空间中的每个点对应一个坐标向量，因此也把一个示例称为一个“特征向量”（feature vector）。每个示例由d个属性描述，则称为样本的“维数”。

从数据中学得模型的过程称为“学习”或“训练”。训练过程中使用的数据称为“训练数据”，其中每个样本称为一个“训练样本”，训练样本组成的集合称为“训练集”。

关于示例结果的信息称为“标记”，拥有了标记信息的示例称为“样例”，所有标记的集合成为“标记空间”或“输出空间”。

若预测的是离散值，此类学习任务称为“分类”，如“好瓜”、“坏瓜”；若预测的是连续值，此类学习任务称为“回归”。

对只涉及两个类别的“二分类”任务，通常称其中一个类为“正类”，另一个为“反类”；涉及多个类别时，则称为“多分类”任务。

学得模型后，使用其进行预测的过程称为“测试”，被预测的样本称为“测试样本”。

“聚类”（clustering） 有助于我们了解数据的内在规律，能为更深入地分析数据建立基础。

根据训练数据是否拥有标记信息，学习任务可大致分为两大类：“监督学习”和“无监督学习”，分类和回归是前者的代表，[1]而聚类则是后者的代表。

学得模型适用于新样本的能力，称为“泛化”能力。

1.3 假设空间

归纳与演绎 是科学推理的两大基本手段，前者是从特殊到一般的“泛化”过程，即从具体的事实归结出一般性规律；后者则是从一般到特殊的“特化”过程，即从基础原理推演出具体状况。

1.4 归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”，或简称为“偏好”。任何一个有效的机器学习算法必有其归纳偏好。

“奥卡姆剃刀” 是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”。

在具体的现实问题中，算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。

1.5 发展历程

机器学习是人工智能研究发展到一定阶段必然产物。

决策树学习 技术由于简单易用，到今天仍是最常用的机器学习技术之一。事实上，BP算法 一直被应用的最广泛的机器学习算法之一。
连接主义学习的最大局限性是“试错性”，简单地说，其学习过程涉及大量参数，而参数的设置缺乏理论指导，主要靠手工“调参”，夸张一点说，参数调节上失之毫厘，学习结果可能谬之千里。

以往机器学习技术在应用中取得好性能，对使用者要求较高；而深度学习技术设计的模型复杂度非常高，以至于只要下功夫“调参”，把参数调节好，性能往往就好。因此，深度学习虽然缺乏严格的理论基础，但它显著降低了机器学习应用者的门槛，为机器学习技术走向工程实践带来了便利。

深度学习热起来有两个基本原因：数据大了、计算能力强了、深度学习模型拥有大量参数，若数据样本少，则很容易“过拟合”；如此复杂的模型、如此大的数据样本，若缺乏强力计算设备，根本无法求解。

1.6 应用现状

今天，在技术科学主动分支学科领域中，无论是多媒体、图形学，还是网络通信、软件工程、乃至体系结构、芯片设计都能找到机器学习技术的身影，尤其是在计算机视觉、自然语言处理等“计算机应用技术”领域，机器学习已经成为最重要的技术进步源泉之一。

“计算”的目的往往是数据分析，而数据分析的核心也恰是通过分析数据来获得价值。

若要列出目前计算机科学技术中最活跃、最受瞩目的研究分支，那么机器学习必居其中。

美国国家科学基金会在加州大学伯克利分校启动加强计划，强调要深入研究和整合大数据时代的三个关键技术：机器学习、云计算、众包（crowdsourcing）。