【江湖夜雨十年灯】八卦--Deep Learning的故事

最近deep learning的确很火，虽然学术上不甚了解，但是其背后的一些故事还是很有趣的，纯八卦。(八卦来自 余凯 李航，对理论感兴趣的请观看余凯老师的视频)

神经网络NN的第一次挑战是异或问题，虽然BP的出现证明了非线性问题的可解性，但是在90年代NN经历了一个寒冬（与大热的Boosting、SVM相比）。余凯认为原因如下：

1、非凸，无法全局最优

2、过多的技巧难以驾驭（单反VS傻瓜）

3、理论上难以分析

2006年，Hinton在science上发飙了用NN进行降维的一篇文章，开启了DL时代。很多人对Hinton的工作的有效性表示了怀疑（Hinton经常被人拍砖），CV的大牛（Jitendra Malik）表示DL只是叫的欢(CV领域过去很大的成绩是在Feature enginering上取得的，DL要做的Feature Learning很大程度上革了Feature enginering的命，CVER们当然要挑战DL)有本事拿出事实说话。Hinton果断不能忍了，带着学生参加了ImageNet图片识别的比赛，取得了非常有说服力的结果（74%->85%）。随后DL在语音识别、NLP等领域也取得了实质的提高。MS,GOOGLE等公司的加入，使得DL带领神经网络强势回归。

Hinton其人，毫无疑问是神一级的。其特点如下：

1、专注。专注神经网络40年，即使是研究低谷时也不离不弃。碰到这样专注的男子，就嫁了吧。

2、践行。许多人说他数学不好（他自己的学生都这么说。。。），但是直觉特别好，可以看穿问题的本质（这才是其神奇所在）！！！

3、知恩图报。最值得感谢的人是谁？不是CCTV而是SVM等。那些曾经BS过你的敌人，正是促使自己前进的动力！SVM与神经网络的恩怨由来已久。Scholkopf是Vapnik的大弟子，支持向量机与核方法研究的领军人物。据Scholkopf说，Vapnik当初发明支持向量机就是想’干掉’神经网络（He wanted to kill Neural Network)。支持向量机确实很有效，一段时间支持向量机一派占了上风。http://blog.sina.com.cn/s/blog_7ad48fee0100vz2f.html。后来，风光无限的Hinton曾开玩笑地说: I want to call SVM shallow learning. (注：shallow 有肤浅的意思)。其实Deep Learning本身的意思是深层学习，因为它假设神经网络有多层。今年NIPS的特邀报告上，Hinton幽默地开场（又开玩笑了）：“我今天想告诉大家，其实过去这些年大家没有必要来参加NIPS。”(BS过去所有的MLER)。讲演过后，机器学习大老Tom Dietterich 跳出来叫板：“我的学生告诉我，程序里有bug和regularization起作用很难区分。”（指Deep Learning有bug。据说Deep Learning代码有BUG，修复后性能并未改变，因此难以解释DL的效果为什么这么好，这也说明了神经网络的确在学术上难以分析）。　　Hinton真是不容易，你们一会说人家吹牛，人家做出来了所任有BUG，说人家理论上难解释。真是被各种黑啊。所以Hinton如此自负也是可以理解的，别人流言蜚语，我就Beat state-of-the-art，数学不好照样BS你们。即使是对自己的盟友，似乎也是不留情面，余凯老师说某次workshop建议邀请另一位DL专家（T Poggio，hmax model），Hinton直接表示对方的工作没意义。

似我这等小弱，空谈宗论派，过于虚无。还是学习大牛们的优点，踏实的做好工作才好。

 

剑宗气宗之争久矣，而令狐冲由然笑之：“气之所至，草木皆为利刃”。

 

 

似我这等小弱，空谈宗论派，过于虚无。还是学习大牛们的优点，踏实的做好工作才好。