nndl-1 机器学习基础

nndl-1 机器学习基础

nndl系列参考:https://github.com/nndl/nndl.github.io

绪论

深度学习：是机器学习的一个分支，从有限样例中通过算法总结出一般性的规律，并可以应用到新的未知数据上

贡献度分配问题：深度学习模型由组件组成，我们并不知道每个组件的贡献是多少

人工神经网络ANN：信息从输入到输出的信息处理系统，控制参数可以学习

深度学习除了神经网络之外还有其他模型，但是神经网络是主流，解决贡献度分配问题也最好

1，人工智能

（1）基础概念

智能：智力+能力

人工智能：人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样

图灵测试：一个人在不接触对方的情况下，通过一种特殊的方式和对方进行一系列的问答．如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的

人工智能的领域：感知，学习，认知

（2）发展历史

推理期：1956 年达特茅斯会议之后十几年，但人们过于乐观，之后陷入低谷

知识期：意识到知识对于人工智能系统的重要性，出现专家系统，“知识库 + 推理机”

学习期：机器学习，学习算法设计

（3）人工智能流派

• 符号主义：计算机学派，通过分析人类智能的功能，然后用计算机来实现这些功能的一类方法

• 连接主义：仿生学派，主要结构是由大量简单的信息处理单元组成的互联网络

深度学习属于连接主义，但是可解释性比较差

2，机器学习

机器学习：从有限的观测数据中学习（或“猜测”）出具有一般性的规律

预测模型：浅层学习，特征输入到预测模型，并输出预测结果，不涉及特征学习

机器学习模型包含：

• 数据预处理：初步数据清理和加工，eg冗余数据，缩放，归一化
• 特征提取：原始特征中提取出一些高质量特征，eg边缘，尺度不变特征变换
• 特征转换：降维(特征抽取和特征选择，eg主成分分析)，升维
• 预测：机器学习的核心部分，学习一个函数并进行预测

3，表示学习

表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能

语义鸿沟：表示学习的关键，输入数据的底层特征和高层语义信息之间的不一致性和差异性

（1）局部式表示与分布表示

局部表示：eg一种表示颜色的方法是以不同名字来命名不同的颜色，可以用one-hot向量表示

• 优点：解释性好，可以进行特征组合；通常组合得到稀疏二值向量，用于线性模型效率很高
• 缺点：维数很高且不能扩展，无法比较不同颜色之间的相似度

分布式表示：eg，不同颜色对应到R、G、B三维空间中一个点，通常用于低维稠密向量，表示能力更强，可以计算相似度

（2）嵌入

嵌入：将高维的局部空间映射到低维分布式空间，并尽可能保持不同对象之间的拓扑关系

（3）表示学习

表示学习的关键：构建具有一定深度的多层次特征表示，从底层特征开始经过多步非线性转换

4，深度学习

深度学习：从数据中学习一个深度模型，通过多层特征转换

深度学习需要解决的关键问题是贡献度分配问题

端到端学习

传统机器学习：可能要切分成多个子模块，子模块分开学习

• 每个模块要单独优化，优化目标和任务总体目标不一致
• 错误传播：前一步的错误会对后续模型造成很大的影响

端到端学习：不进行分模块或分阶段训练，直接优化任务的总体目标

5，神经网络

人工神经网络

人工神经网络是为模拟人脑神经网络而设计的一种计算模型

• 由多个节点（人工神经元）互相连接而成
• 不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小
• 权重综合计算，输入到一个激活函数中

首个可学习的人工神经网络是赫布网络，基于赫布规则的无监督学习

感知器是最早的具有机器学习思想的神经网络，但是无法多层

发展历史

模型提出：1943年～1969年，MP 模型，B 型图灵机，感知器

冰河期：1969年～1983年，无法处理异或问题，无法支持大型NN的计算能力，反向传播算法

反向传播算法引起的复兴：1983年～1995年，Hopfield 网络，玻尔兹曼机，分布式并行处理，自动微分，梯度消失问题

流行度降低：1995 年～2006，支持向量机主导

深度学习的崛起：2006 年开始至今，“预训练 + 精调”