学术---读书笔记： 《智能时代 On Intelligence 》--记忆-预测模型

 

Jeff Hawkins 2004年著，On Intelligence

2014年出版

中文还有一版又名 《人工智能的未来》2006年出版

 

摘要：作者阐述了他对于大脑工作方式的理解，思维是如何产生，所谓的创造力又是什么。提出智能的“记忆-预测模型”

  

1. 对大脑的理解三个必不可少的标准

1. 考虑时间的因素

反馈的重要性：在新大脑皮层与丘脑之间的神经回路中，反馈连接比前馈多10倍。

人工神经网络中BP反向传播不是反馈，因为 1.只在学习阶段反向传递； 2.模型中没有时间，是一个静态的输入状态转化为另一个静态的输出状态

图1 前馈 vs 反馈神经网络 示例

2. 有不断重复的层级结构

自-联想记忆 （Hopfield网络或其他方式）

局部匹配算法，窗口的选择非常重要。窗口必须足够大以获取可靠的匹配，同时又必须足够小以避免投影变形的影响。而且，窗口的形状必须保证具有足够的可分辨性。目前，已经设计出了许多解决这个问题的窗口，例如可移动式窗口、大小自适应窗口、影像分割窗口、等视差邻接窗口以及视差空间模型窗口等。

 

图2 常见前馈反馈网络及模型 

3. 可以用来存储模式的序列，或称时序模式

大脑非常灵活，不会为1000个问题准备1000个解决方案，而是各区域共享一个强大的通用算法。

 

图 3 人工智能知名算法

 

博主：以上算法也许无一是人脑使用的算法，也许是Stephen Wolfram （Wolfram Research 创始人、Mathematica 软件的创作者、数学家/物理学家 ）博文，通往物理学基础理论的途径。

图 4  简单程序产生的计算宇宙 （Wolfram）

2. 记忆

大脑如何在100步内解决计算机100万步也解决不了的问题？ -- 大脑并不“计算”问题的答案，而是从记忆中提取答案。

四个属性

1. 大脑皮层存储序列模式
2. 以自-联想方式提取模式记忆
3. 以恒定的方式存储模式
4. 将模式存储在层级结构中

 

3. 预测

 

大脑对每时每刻将看到、听到、感觉到的事物进行并行的、低层级的预测。（数学：用贝叶斯网络进行预测）

当某个层级能预测到某件事激活后，会把一个恒定模式发给更高层级。不能预测时，发送另一个模式。如果一个模式（如一段音乐）没有被识别，就会不断向上传递，直到更高区域识别出为止。并产生一个预测，向下逐级传播。如果该预测不正确，则错误被检出，再次逐级向上传递。观测到的模式沿着大脑皮层逐级向上流动，而预测逐级向下流动。

 

4. 与时间相关的序列

婴儿刚出生时什么都不会，不停学习，形成序列。 如何形成序列？即将有关同一对象的模式聚为一组。可以是时间上连续出现的模式聚为一组（无监督，时间序列），也可以外部指令帮助（有监督）

序列开始在较高层形成，并逐渐下移。随着简单表征的下移，高层区域能够学习更细致的模型。专家就是这样产生的。

（感想：如何在每层实现预测功能---每层都有形成序列、记忆单元 、特征提取、特征匹配。成熟的特征可以逐级下移，使得匹配更快）

海马体如果收到损伤，人将无法记住任何新东西。这是因为海马体位于大脑皮层金字塔顶端。如果一个全新的模式顺着脑皮层上升到最高层，还无法理解，则会进入海马体并存储起来。但信息不会永远保存在海马体，要么转移到大脑皮层中，要么彻底丢失了。成年人随着年龄的增长，在记忆新事物方面不如孩子，也许是很难再有新鲜感，所以到不了海马体。-- 人通过海马体记住全新的事情，但反复经历并思考后，就会在大脑皮层中永远记住它。

 

5. 创造力

我们的恒定记忆也是时间序列，通过将恒定记忆应用与新的场景做出类比预测。 -- 我们通过类比过去来预测未来。

类比预测，也就是创造力。

 

如何训练自己变得更有创造力

需要为问题在大脑中寻找类似模式，记忆-预测模型建议你尝试不同方式看待问题。比如将问题的几个组成部分重新组合。

 

意识

意识就是陈述性记忆

与意识相关的概念还有精神和灵魂。精神和肉体互相独立的感觉很普遍。这是大脑新皮层工作方式的自然后果。大脑在层级记忆中创建了这个世界的模型。当模型自己运转时，思想就产生了。我们的模型最初是通过来自真实世界的感光输入构建的，但当我们思考时，我们是通过大脑皮层的模型而非真实世界来完成。

很多心理学都基于人们早期的生活经历、关系和教育所带来的影响。因为大脑就是从那时开始形成这个世界的模型。

 

智能的未来

 智能机器的感官系统可以任意，如声纳，雷达，偏振光等。比如可以设计遍布全球的传感系统，比如气象传感器，则系统可以学习和预测天气变化。发现新的比如厄尔尼诺现象。

利用其他大型分布式传感系统，可以了解和预测动物前一、人口结构变化、疾病传播。

综合人口和天气传感器，用来预测政治动乱、饥荒、疾病、等行为模式。（感想：结合交通、人流、温度、价格等，预测交通相关的信息？）

需要多久能造出智能？在高科技领域有个说法：你的短期期望需要更长的时间，而长期期望则比预期发生的快。

 

博主：这本书与Karl Friston的The free-energy principle: a unified brain theory? 相互印证。目前的AI缺乏很多要素（比如预测，自联想），还需要更多的数学理论的支持

 参考文献：

1.M. Bouzenada, M.C. Batouche and Z. Telli, 2007. Neural Network for Object Tracking. Information Technology Journal, 6: 526-533.

DOI: 10.3923/itj.2007.526.533

URL: https://scialert.net/abstract/?doi=itj.2007.526.533

2.  大脑皮层是如何工作的 《人工智能的未来》（<On intelligence>）读书笔记 

3. 简单介绍一下神经网络算法？ https://www.applysquare.com/topic-cn/SrI6gs3Lx/