[人工智能] 神经网络与深度学习
神经网络与深度学习
0 绪论
智能分层
AI 学科间关系: 机器学习-神经网络-深度学习
-
机器学习是一个广泛的领域，作为人工智能的的一个子领域，专注于计算机如何模拟人类的学习行为。
机器学习是人工智能的一个分支，旨在通过计算机算法和统计模型，让计算机从数据中学习和提取知识，并做出相应的预测和决策。
机器学习的核心在于通过算法和模型来处理和分析数据，从而获得有用的信息和知识。
机器学习的应用范围非常广泛，包括图像识别、语音识别、自然语言处理、推荐系统等。 -
神经网络是机器学习的一种方法，是一种以人工【神经元】为基本单元的模型，其借鉴了动物神经系统的结构，用于实现学习。
神经网络是一种模拟人脑神经元网络的计算模型，由多个神经元相互连接而成。
神经网络通过学习和训练，能够从数据中自动提取有用的特征，并做出准确的预测和分类。
神经网络在机器学习中扮演着重要的角色，可以分为前馈神经网络、循环神经网络、卷积神经网络等不同类型。
- 深度学习是神经网络的进阶版，使用更复杂的模型结构和优化算法，能够处理更复杂的数据模式和概念。一种机器学习问题，主要解决贡献度分配问题。
深度学习是神经网络的一种特殊形式，它通过构建深度神经网络来模拟人脑的学习过程。
深度神经网络通常包含多个隐藏层，可以自动提取数据的层次化特征，并做出更准确的预测和分类。
深度学习在许多领域都取得了显著的成果，如图像识别、自然语言处理、语音识别等。
- 小结
这三者之间的关系是：深度学习是神经网络的一个子集，而神经网络又是机器学习的一个重要组成部分。
它们共同致力于从数据中提取有用的信息并进行预测和决策
以传统的NLP方法与深度学习方法为例：
预备知识
- 线性代数
- 微积分
- 数学优化（最优化理论）
- 概率论
- 信息论
推荐文献
推荐教材
- 神经网络与深度学习
- 动手学深度学习
- Pattern recognition and Machine Learning
- Wright, S.,& Nocedal, J.(1999).Numerical optimization.Springer Science,35(67-68),7.
- Boyd,S.,& Vandenberghe,L.(2004).Convex optimization.Cambridge university press.
推荐课程
- 斯坦福大学 CS224n: Deep Learning for Natural Language Processing
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/
Chris Manning 主要讲解自然语言处理领域的各种深度学习模型
- 斯坦福大学 CS231n: Convolutional Neural Networks for Visual Recognition
http://cs231n.stanford.edu/
Fei-Fei Li Andrej Karpathy 主要讲解 CNN、RNN 在图像领域的应用
- 加州大学伯克利分校 CS 294: Deep Reinforcement Learning
推荐材料
- 林轩田 “机器学习基石”、 “机器学习技法”
- 李宏毅 “1 天搞懂深度学习”
http://speech.ee.ntu.edu.tw/~tlkagk/slide/Tutorial_HYLee_Deep.pptx
- 李宏毅 “机器学习 2020”
顶会论文
- NeurIPS、ICLR、ICML、AAAI、IJCAI
- ACL、EMNLP
- CVPR、ICCV
- …
1 概述
机器学习概述
- 人工智能（
Artificial Intelligence，AI），就是让机器具有人类的智能。
“计算机控制”+“智能行为”
人工智能这个学科的诞生有着明确的标志性事件，就是 1956 年的达特茅斯（Dartmouth）会议。在这次会议上，“人工智能” 被提出并作为本研究领域的名称。
人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样。John McCarthy（1927-2011）
- 图灵测试
- 人工智能的研究领域
让机器具有人类的智能
机器感知（计算机视觉、语音信息处理）
学习（模式识别、机器学习、强化学习）
语言（自然语言处理）
记忆（知识表示）
决策（规划、数据挖掘）
- 发展历史
如何开发一个人工智能系统？
- 专家知识（人工规则）
- 机器学习 ≈ 构建一个映射函数
- 案例：芒果是否甜蜜
- 从市场上随机选取的芒果样本（训练数据），列出每个芒果的所有特征：
颜色，大小，形状，产地，品牌
以及芒果质量（输出变量）：
甜蜜，多汁，成熟度。
- 设计一个学习算法来学习芒果的特征与输出变量之间的相关性模型。
下次从市场上买芒果时，可以根据芒果（测试数据）的特征，使用前面计算的模型来预测芒果的质量。
浙公网安备 33010602011771号