读人工智能全球格局：未来趋势与中国位势04六十年沉浮录

1. 人工智能1.0时代

1.1. 推理与搜索占据主导

1.2. 达特茅斯会议后的20年，是人工智能1.0时代

1.3. 符号主义几乎主导了人工智能领域的研究，推理和搜索成为人们的主要研究对象，启发式搜索、知识表示和机器翻译等技术获得了很大的发展

1.4. 1956年IBM公司科学家亚瑟·塞缪尔在电视上首次展示了会下西洋跳棋的人工智能程序，给当时的人们留下了很深的印象

• 1.4.1. 可以记住17500张棋谱，在实战中能自动分析哪些棋步源于书上推荐的走法，准确率达48%

• 1.4.2. 跳棋程序就战胜了塞缪尔本人，到1962年它甚至击败了美国一个州的跳棋冠军

• 1.4.3. 基本原理是“搜索式推理”算法

• 1.4.4. 一旦“迷宫”过大，盲目式搜索（暴力计算）的效率过低，走完“迷宫”所花的时间就太长

1.5. 鉴于人工智能1.0时代的计算效率低下，处理稍微复杂一些的问题时，盲目式搜索就显得力不从心了

1.6. 启发式的搜索，就是利用常识或者逻辑推理来迅速缩小搜索范围，这与人类的思维方式类似

• 1.6.1. 在解决实际问题时，人们通常不会寻求全局最优解，而是寻求可以用的结果（满意解）​，因此很快就能在浩如烟海的结果中找到自己想要的

• 1.6.2. 纽厄尔和司马贺研发的“逻辑理论家”和“通用问题求解器”(general problem solver, GPS)，IBM公司赫伯特·格林特(Herbert Gelernter)发明的“几何定理证明机”​，都属于“启发式搜索”领域的出色成

1.7. 启发式搜索最成功的应用领域是机器定理证明

• 1.7.1. 1956年，​“逻辑理论家”程序可用来证明罗素、怀德海所著《数学原理》中的许多定理

• 1.7.2. 1959年，​“几何定理证明机”能够做一些中学的几何题，速度与学生相当

• 1.7.3. 1960年，美籍华人科学家王浩在IBM 704机器上编写程序，证明了罗素、怀德海《数学原理》中的几乎所有定理

1.8. 麻省理工学院科学家约瑟夫·魏泽堡(Joseph Weizenbaum)开发的聊天机器人“Eliza”​

1.9. 明斯基的学生丹尼尔·鲍勃罗(Daniel Bobrow)创建的自然语言理解程序“STUDENT”​

1.10. 1957年，美国康奈尔航天实验室科学家弗兰克·罗森布拉特(Frank Rosenblatt)参考生物学原理，在IBM 704计算机上实现了“感知机”(Perceptron)模型

• 1.10.1. 感知机是一种简单的神经网络结构，与多层神经网络的“输入层—隐藏层—输出层”结构不同，它只包含输入层和输出层

• 1.10.2. 受硬件限制，感知机所需的超大计算量无法实现

• 1.10.3. 感知机连最基本的布尔函数异或运算(XOR)都做不到

1.11. 第一轮人工智能寒冬

• 1.11.1. 1973年，英国数学家詹姆斯·莱特希尔(James Lighthill)受英国科学研究委员会委托撰写了《莱特希尔报告》​，批评人工智能无法实现其宏伟目标，尤其指出了当时的人工智能对“组合爆炸”问题无可奈何

2. 人工智能2.0时代

2.1. 专家系统引领商业潮流

2.2. 到了人工智能2.0时代，专家系统可以包含某个领域大量专家水平的知识或经验，用于处理这个领域中普通甚至是困难的问题

• 2.2.1. 专家系统能够根据该领域已有的知识或经验进行推理和判断，从而做出媲美人类专家的决策

2.3. 世界上第一个专家系统程序DENDRAL

• 2.3.1. DENDRAL内嵌有化学家们的知识和质谱仪的数据，可以根据有机化合物的分子式和质谱图，从海量的分子结构中判断出哪一个是正确的

2.4. 医学专家系统MYCIN最负盛名

• 2.4.1. 20世纪70年代，斯坦福大学博士生爱德华·肖特立夫(Edward Shortliffe)在布鲁斯·布坎南(Bruce Buchanan)和费根鲍姆等人的指导下，利用LISP语言写出了用于诊断血液传染病的专家系统MYCIN

• 2.4.2. MYCIN具有450条规则，其推导患者病情的过程与专家的推导过程相似，因此可以在部分程度上替代人类

• 2.4.3. MYCIN系统开处方的正确率达到了69%，这要比初级医师的表现更好，但与专业从事细菌感染的医师（正确率80%）相比还是差了一些

2.5. 1982年，美国生物物理学家约翰·霍普菲尔德发明了新型的异步网络模型，后被称为“Hopfield网络

2.6. 1986年，美国心理学家大卫·鲁梅哈特(David Rumelhart)和加拿大计算机科学家杰弗里·辛顿重新提出了反向传播(BP)算法

• 2.6.1. 1974年保罗·沃伯斯就提出了，但未受到重视

2.7. 第二轮“人工智能寒冬”​

• 2.7.1. 苹果和IBM台式机的高性能使运行Lisp语言的机器失去了存在的价值

• 2.7.2. 专家系统难以升级维护，其实用性仅仅局限于某些特定领域

• 2.7.3. 第五代计算机计划失败，人们已经意识到理想与现实的巨大差距

3. 人工智能3.0时代

3.1. 自20世纪90年代以来，机器学习领域相继诞生了卷积神经网络(CNN)、支持向量机(SVM)、随机森林(RF)和循环神经网络(RNN)等一系列算法，在语音识别、图像识别、人脸检测、自然语言处理、推荐系统和垃圾邮件过滤等领域获得了实际应用

3.2. 数据对人工智能发展的重要性不言而喻

• 3.2.1. 数据就是人工智能时代的“新石油”​

3.3. 1983年，Internet的前身ARPANET（由ARPA开发）开始启用TCP/IP协议，标志着计算机网络时代的来临

3.4. 1984年，苹果公司推出了改变世界的产品—Macintosh（麦金塔）​，虽然CPU主频只有6MHz，但功能和用户体验却已经相当接近今天的电脑

3.5. 1989年，英国计算机科学家蒂姆·伯纳斯·李发明了轰动世界的World Wide Web，掀开了互联网发展的新篇章

3.6. 2000年英特尔公司推出的奔腾处理器主频就达到1.5GHz，Wintel（微软＋英特尔）联盟使PC机真正普及了

3.7. 进入人工智能3.0时代初期，机器学习领域被支持向量机所支配，神经网络算法则黯然失色

3.8. 机器学习本身涉及的理论极广，包括计算机科学、概率论、统计学、函数逼近论、控制论和决策论等，是一门极为深度交叉的学科

• 3.8.1. 机器学习算法还包括有监督学习、无监督学习（无样本标注）​、半监督学习（少量样本标注）和强化学习（通过试错学习）等，它们都有各自适用的场景

• 3.8.2. 最早的机器学习算法，要算1949年唐纳德·赫布(Donald Hebb)提出的“赫布理论”​

• 3.8.3. 1952年亚瑟·塞缪尔开发的跳棋程序也包含了简单的机器学习算法

• 3.8.4. 1959年，塞缪尔正式提出了机器学习的概念，他因此被称为机器学习的鼻祖

• 3.8.5. 1974年，保罗·沃伯斯首次提出了反向传播算法和多层感知机(MLP)

• 3.8.6. 1986年，大卫·鲁梅哈特和杰弗里·辛顿提出了MLP与BP训练相结合的思路

• 3.8.7. 1989年，罗伯特·夏皮尔(Robert Schapire)提出了一种多项式级的算法Boosting，并于数年后提出了改进的AdaBoost算法

• 3.8.8. 1990年，杨立昆借鉴动物视觉神经系统，提出了卷积神经网络算法

• 3.8.9. 1991年，慕尼黑工业大学的学生塞普·霍克赖特(Sepp Hochreiter)在答辩论文中指出，采用反向传播算法训练多层神经网络时会发生梯度损失，使得模型训练超过一定迭代次数后会产生过拟合（模型把数据学习得太彻底，以至于把噪声数据的特征也学到了，导致不能正确地识别数据）​

• 3.8.10. 1995年，弗拉基米尔·万普尼克(Vladimir Vapnik)和科林纳·科尔特斯(Corinna Cortes)提出了支持向量机(SVM)算法（一种快速可靠的分类算法）​

• 3.8.10.1. 支持向量机无疑是机器学习领域的一项重大突破

• 3.8.10.2. SVM算法具有完善的数学理论（统计学和凸优化等）作为支撑，无需大量数据和计算资源即可工作，在人像识别、文本分类、笔迹识别和生物信息学等模式识别领域有着出色的表现，在商业上也获得了突出的成就

• 3.8.10.3. 在诞生后的20年里，SVM在许多之前由神经网络占据的任务中获得了更好的效果，神经网络已无力和SVM竞争

• 3.8.11. 2001年，随机森林被提出

3.9. 深度学习的发展并没有特别清晰的脉络，很多算法是不同流派的学者根据不同机制发明的

3.10. 直到2012年，深度神经网络获得突破，人工智能进入了深度学习时代

• 3.10.1. 深度学习再领风潮

• 3.10.2. 神经网络再次卷土重来，主导了人工智能领域的发展

3.11. GAN算法使得一些监督学习问题慢慢过渡到无监督学习，而无监督学习才是自然界中普遍存在的，GAN因此掀起了深度学习的新一波高潮

3.12. 目前的深度学习算法强烈依赖海量数据和超高算力，同时具有解释性差、难以迁移、无法判断数据准确性等问题，亟待理论层面的重大变革