【一】深度学习简介

人们为计算机智能化做出的尝试：

构建知识图库（Ontology）：赞美知识图库，如此浩大的工程，却又如此浪费人力。

传统机器学习（Machine Learning）：随着经验的增加，效果也会变优。它依赖于特征的提取与数据集（特征瓶颈制约着它的发展）。

深度学习（Deep Learning）：自动从简单的特征中提取出更加复杂的特征（一层一层的将简答特侦逐步转化为更加复杂的特征）。

传统机器学习算法
深度学习算法

 

 

　　

 

 

插曲：反向传播算法和长短时记忆网络模型使得神经网络跨越式发展。

深度学习应用：图像识别，语音识别，自然语言处理……

自然语言处理中，有一个很棘手的问题，同义词。同义词虽然意思相近，但是在计算机中的编码想差很大。

研究人员建立了大量的同义词林，非常宏大的语料库：WordNet、ConceptNet、FrameNet。

但是事情往往会有更加“懒”的解决方式：

单词向量将一个单词表示成一个100到200维的低维向量，

语义接近的单词，它的向量距离也会很近。

目前有很多主流的深度学习开源工具。如caffe（C++、Python、MATLAB| Linux、Mac OS X、Windows），TensorFlow（C++，Python|Linux、Mac OS X）