【江湖夜雨十年灯】八卦--Deep Learning的故事

最近deep learning的确很火,虽然学术上不甚了解,但是其背后的一些故事还是很有趣的,纯八卦。(八卦来自 余凯 李航,对理论感兴趣的请观看余凯老师的视频)

神经网络NN的第一次挑战是异或问题,虽然BP的出现证明了非线性问题的可解性,但是在90年代NN经历了一个寒冬(与大热的Boosting、SVM相比)。余凯认为原因如下:

1、非凸,无法全局最优

2、过多的技巧难以驾驭(单反VS傻瓜)

3、理论上难以分析

2006年,Hinton在science上发飙了用NN进行降维的一篇文章,开启了DL时代。很多人对Hinton的工作的有效性表示了怀疑(Hinton经常被人拍砖),CV的大牛(Jitendra Malik)表示DL只是叫的欢(CV领域过去很大的成绩是在Feature enginering上取得的,DL要做的Feature Learning很大程度上革了Feature enginering的命,CVER们当然要挑战DL)有本事拿出事实说话。Hinton果断不能忍了,带着学生参加了ImageNet图片识别的比赛,取得了非常有说服力的结果(74%->85%)。随后DL在语音识别、NLP等领域也取得了实质的提高。MS,GOOGLE等公司的加入,使得DL带领神经网络强势回归。

Hinton其人,毫无疑问是神一级的。其特点如下:

1、专注。专注神经网络40年,即使是研究低谷时也不离不弃。碰到这样专注的男子,就嫁了吧。

2、践行。许多人说他数学不好(他自己的学生都这么说。。。),但是直觉特别好,可以看穿问题的本质(这才是其神奇所在)!!!

3、知恩图报。最值得感谢的人是谁?不是CCTV而是SVM等。那些曾经BS过你的敌人,正是促使自己前进的动力!SVM与神经网络的恩怨由来已久。Scholkopf是Vapnik的大弟子,支持向量机与核方法研究的领军人物。据Scholkopf说,Vapnik当初发明支持向量机就是想’干掉’神经网络(He wanted to kill Neural Network)。支持向量机确实很有效,一段时间支持向量机一派占了上风。http://blog.sina.com.cn/s/blog_7ad48fee0100vz2f.html。后来,风光无限的Hinton曾开玩笑地说: I want to call SVM shallow learning. (注:shallow 有肤浅的意思)。其实Deep Learning本身的意思是深层学习,因为它假设神经网络有多层。今年NIPS的特邀报告上,Hinton幽默地开场(又开玩笑了):“我今天想告诉大家,其实过去这些年大家没有必要来参加NIPS。”(BS过去所有的MLER)。讲演过后,机器学习大老Tom Dietterich 跳出来叫板:“我的学生告诉我,程序里有bug和regularization起作用很难区分。”(指Deep Learning有bug。据说Deep Learning代码有BUG,修复后性能并未改变,因此难以解释DL的效果为什么这么好,这也说明了神经网络的确在学术上难以分析)。  Hinton真是不容易,你们一会说人家吹牛,人家做出来了所任有BUG,说人家理论上难解释。真是被各种黑啊。所以Hinton如此自负也是可以理解的,别人流言蜚语,我就Beat state-of-the-art,数学不好照样BS你们。即使是对自己的盟友,似乎也是不留情面,余凯老师说某次workshop建议邀请另一位DL专家(T Poggio,hmax model),Hinton直接表示对方的工作没意义。

似我这等小弱,空谈宗论派,过于虚无。还是学习大牛们的优点,踏实的做好工作才好。

 

剑宗气宗之争久矣,而令狐冲由然笑之:“气之所至,草木皆为利刃”。

 

 

似我这等小弱,空谈宗论派,过于虚无。还是学习大牛们的优点,踏实的做好工作才好。

 

 

 

posted @ 2012-12-07 18:38 故国旧梦 阅读(...) 评论(...) 编辑 收藏