机器学习瓶颈 - 从黑盒白盒之争说起

瓶颈

任何事物的发展都会遇到瓶颈。半导体业界的摩尔定律在很长的一段时间里面一直是有效的,但是在近几年也快走到尽头了。
机器学习在AlphaGo战胜人类棋手之后,名声大噪,我也是在那次比赛之后开始研究机器学习的。机器学习这项技术是不是有一个天花板,这个天花板在哪里,我们现在的技术发展离开这个天花板到底有多远,我们是在地板上呢,还是快触碰到天花板了呢?

在五年前,Intel公司的CEO就抛出了无法继续摩尔定律的危机说。摩尔定律由英特尔联合创始人戈登-摩尔(Gordon Moore)提出,意思是说:当价格不变时,集成电路上可容纳的晶体管数目,约每隔 18 个月便会增加一倍,性能也将提升一倍。换言之,每一美元所能买到的电脑性能,将每隔 18 个月翻两倍以上。这个定律虽然奏效了数十年,但是从2018年开始,这个定律就已经失效

摩尔定律

黑盒白盒之争

在知乎上有这样一篇文章

https://zhuanlan.zhihu.com/p/21362413?fc=1&group_id=821400638150828032#comment-145854724

大概的意思是用一个神经网络来调控另一个神经网络!
以前,虽然我们不知道AlphaGo是怎么想的,但是我们知道它是怎么学的,
以后,我们不但不知道AlphaGo是怎么想的,我们还不知道它是怎么学的!!!

人工智能到底是黑盒还是白盒?在评论里面关于这个话题,大家产生了很大的分歧。
作为传统的程序员,我的观点如下:当然如果您有时间,可以看一下评论,非常精彩。

神经网络自己调整自己

1.ML 归根到底是程序,如果LOG足够多的话,如果你足够耐心的话,你肯定可以知道,结果是如何产生的。
2.用神经网络去优化神经网络,其本质是一样的,就想加法变成乘法,但是还没有脱离实数的范围,到达一个更高的维度。
3.ML的程序,包括无监督的程序,都是人写的,都是按照人的想法在执行的,所以,为什么人不知道机器是怎么想的?即使这个程序表现得再不可思议,但结果应该都在人的预料之中。AlphaGo为什么会做决定,背后是程序,程序的背后是写程序的人的想法。除非是真正的随机函数,不然,写程序的人肯定知道程序是如何运行和预想结果的。
总结:不知道程序是怎么想的,只是因为你不愿意去阅读程序的日志和不愿意调试程序。如果有无穷的时间,你单步调试所有的代码,你肯定知道这个结果是怎么来的。

如果整个机器学习慢慢进入黑盒的时代,则可以预测,瓶颈快到了。我们不知道机器到底是怎么学习的,我们就无法进行改进。就像我们不知道雨水的形成机理,我们光在地上求雨是徒劳的。

随机森林和Dropout

很多算法中,都可以看到随机的影子,RF的话,也就是多次随机抽取样本,训练模型,这些模型再进行平均操作。当然,这是根据中心极限理论得出的好方法。神经网络的Dropout也是如此,随机的将一些神经节点进行屏蔽。但是随机就意味着失控,意味着人工很难干预结果。包括梯度下降,是否能收敛到全局最优解,很大程度上也是有运气成分在里面的。初始值,学习率都是影响结果的因素。

Dropout

调参数和巨大模型

现在很多机器学习的比赛,已经从技术比拼转向资源比拼了。
神经网络的层数越来越长,越来越深,微软的神经网络是152层。
阿里巴巴的机器学习模型,已经是3GB的庞然大物了。
整个业界都从硬件和物理层面去获得精度的收益了。
同时,超参数的选取,现在也都是经验论:

神经网络的层数

我们首先需要确定网络的层数和每层的节点数。关于第一个问题,实际上并没有什么理论化的方法,大家都是根据经验来拍,如果没有经验的话就随便拍一个。然后,你可以多试几个值,训练不同层数的神经网络,看看哪个效果最好就用哪个。嗯,现在你可能明白为什么说深度学习是个手艺活了,有些手艺很让人无语,而有些手艺还是很有技术含量的。

K聚类的K取多少,自然语言处理的主题模型,主题数选择多少比较合适等等。都还没有,或者难以找到理论依据。

机器学习还是数理统计

机器学习的本质就是数理统计?答案可能没这么简单
http://tech.sina.com.cn/roll/2017-03-27/doc-ifycspxp0038858.shtml

如果从传统意义上的数据分析师的观点来说,这个问题的答案很简单,无非是下面这两点:
机器学习本质上是一种算法,这种算法由数据分析习得,而且不依赖于规则导向的程序设计;
统计建模则是以数据为基础,利用数学方程式来探究变量变化规律的一套规范化流程。

有一种观点就是机器学习只是数理统计的一个华丽包装而已。
在自然语言处理里面,原本是语言学家占主导的,然后慢慢的统计学家开始占上风,特别是在翻译领域,基本上都是靠强大的计算能力和巨大的模型在处理问题,也就是说从规则到统计的转变。
如果说,机器学习的本质还是统计学的话,统计学,概率学这些东西,其实已经发展到尽头,很难再有什么革命性的突破了。是不是也意味着机器学习也走到尽头了呢?

脑科学研究

机器学习在很大程度上是对于大脑工作原理的仿生学。我觉得,机器学习的发展肯定和人类对于大脑研究的发展密不可分,神经网络就是一个例子。也有可能在多年之后,我们会发现大脑的工作原理和我们现在的认知完全不同,这样的话,当前的机器学习很有可能会被完全推翻,走向一条新的道路。

脑科学

posted @ 2017-03-31 10:13  灰毛毛  阅读(3777)  评论(1编辑  收藏  举报