AlphaGo设计师黄士杰:“最强的学习技能在人类的脑袋里”

AlphaGo设计师黄士杰:“最强的学习技能在人类的脑袋里”

深度学习和强化学习结合看来才能解决彩票预测的问题

可以这么说,AlphaGo的成功就是深度学习与强化学习的胜利,因为两者结合在一起,建构判断形式的价值网络(Value Network),后来也成为AlphaGo Zero的主要理论。

虽然我们最终赢了,但这一盘棋确实有很大的弱点,如果五盘棋内,有20%的错误率,这样的AI系统,你敢用吗?所以我们决定,一定要把这个弱点解决掉,不只是解决第四盘的问题,是要把AlphaGo项目全面解决。

后来过了三个月,我们就把弱点解掉了。怎么做到的?还是采用深度学习和强化学习的方法,并不是用人类知识的方法。第一,我们加强AlphaGo的学习能力,所谓学习能力就是把网络程度加深,从第一篇论文的13层加深到40层,而且是改成ResNet。第二个改变是,把策略网络和神经网络结合,让AlphaGo的直觉和判断一起训练,使两者更有一致性。这个解决后的版本,就是Master。

我那段时间一直说服团队,要带Master上线下棋测试棋力,不要等到Master完全无敌后才下棋。2016年年底,我回到台湾,当时特别低调,在线上中文围棋网站奕城和野狐申请了帐号,偷偷当职业棋士下棋。12月29号开始,我关在自己的房间里测试Master,一盘棋下一小时,一早下三盘棋,然后吃饭,下午继续,晚上吃完饭再继续,非常累,到晚上眼睛都张不开。

我还记得一开始在奕城下棋,没人要跟经验值为零的我对弈,直到第二天邀约才陆续上门,到了第三天,还愈来愈多人观看。那时压力很大,很怕自己点击错误或是网络连线断掉,AlphaGo不能因为我而输掉阿。
我到现在还是很感谢那些曾经和Master对弈的棋手。原本想低调比赛,但后来没办法,确实是每一盘都赢、每一盘赢的都是巨大的优势。这当中,柯洁算是唯一一位可以跟AlphaGo比赛坚持最久的。

我们在初期预设AlphaGo Zero绝对不可能赢Master。围棋被研究了几千年,一个程序只知道棋盘和规则,一切从零开始,怎么可能会超越几千年的围棋历史?但我们错了,40天的训练后,AlphaGo Zero超越了Master,我们非常意外,深度学习和强化学习的威力太大了。

AlphaGo Zero是从乱下开始,找出围棋的下法,它只用了三天,走过了人类研究围棋的千年历程。这也是有趣的地方,人类几千年的累积,跟科学研究是一致的。

=========================

没有人会否认,AlphaGo在过去一年炒热全球对人工智能的关注。

2016年3月,谷歌Deepmind旗下的围棋程序AlphaGo,以4比1的成绩战胜韩国职业棋手李世石。一年后,拿掉所有人类知识、完全靠自学的AlphaGo Zero,在今年10月又以100比0的战绩碾压“AI前辈”AlphaGo。从击败人类、到自学成材,AlphaGo的进展超乎预期,研发团队也自然成为关注焦点。这当中,被称为AlphaGo的“人肉手臂”,替AlphaGo向棋圣聂卫平说“谢谢聂老师”的黄士杰(Aja Huang),就是AlphaGo发展的重要推手。

1978年出生、现任Deepmind资深研究员的黄士杰,私底下是围棋业余六段,在每一场人机对战中,都代表AlphaGo落子。但他不只是手脚,更贴近他身分的描述,其实是AlphaGo的设计者、是AlphaGo的大脑。让AlphaGo登上科学期刊《自然》(Nature)封面的那篇知名论文,黄士杰并列为第一作者。

2017年11月10日在台湾中研院举办的“2017年人工智慧年会”上,黄士杰首次把AlphaGo的研发过程公开说清楚,除了透露新一代AlphaGo Zero的能力还没达到极限,他更多的是去分享身为一名科学家,旁观机器的进步,以及一个科学团队对基础研究的使命和专注。

 

AlphaGo的研发过程,有四个时刻对我影响很大。

第一,是我们在韩国赢了李世石。当我们开始做AlphaGo时,没想到它会变得那么强。在韩国赢了李世石后,DeepMind首席执行官Demis Hassabis立刻发了一个推特,说“我们登上月球”(We landed it on the moon.)。我明白Demis那天的感觉,这是我们团队的一小步,但却是人类的一大步。

第二个时刻,是我在网络上操作AlphaGo升级版“Master”,下了60盘棋。我从小喜欢下棋,在台湾是业余六段。Master在网络上对弈的对象,都是我从小崇拜的人。虽然不是我真正在下棋,但却感到非常荣幸。

第三个时刻,是今年在乌镇进行的人机大战,由我操作AlphaGo和世界冠军柯洁九段下棋。柯洁还不满20岁,非常年轻,当天比赛氛围和李世石对弈时很不同。我记得在韩国比赛,能感受到李世石承受到很大的压力,感觉他是在为人类而战。我当时坐在他对面,也尽量保持谨慎的态度,不喝水、不去上洗手间。但到了第二次和柯洁对弈,比较像是人机合作的气氛,柯洁还走过来说:“黄博士,很荣幸跟AlphaGo下棋”,坦白说我有点惊讶。这也让我们知道,如果Master是无敌的,那机器存在价值到底在哪里?应该是要帮助棋手扩张思路、扩展围棋理论。

第四次对我意义重大的时刻,是AlphaGo Zero的出现。什么是AlphaGo Zero?我们拿掉所有人类对围棋的知识,只喂AlphaGo Zero围棋规则,让它自己学习下棋。我回想起读博士班的熬夜日子,就是不断写代码、找bug,每天做测试,让程序进步。

但AlphaGo Zero把我过去的所有东西全部取代,它完全不需要我的帮助。有同事问我,Aja,AlphaGo Zero把你这十几年来对围棋计算机的研究,一点一点的拿掉,甚至还超越你,有什么感觉?我的确心情复杂,但后来跟同事说,这会是一个趋势,如果我阻碍了AlphaGo,我确实应该被拿掉(笑)。AlphaGo有99%的知识是我做的,AlphaGo能走到这一步,我已经很满足,找到了收尾。

 

AlphaGo Zero只用三天走过人类的千年历程

在Master之后,我们研究分出两条线,一条是让Master出去比赛,由我来测试,另一条线,则是把所有人类知识拿掉,从零开始学习,看AlphaGo Zero可以达到什么程度。

我们在初期预设AlphaGo Zero绝对不可能赢Master。围棋被研究了几千年,一个程序只知道棋盘和规则,一切从零开始,怎么可能会超越几千年的围棋历史?

但我们错了,40天的训练后,AlphaGo Zero超越了Master,我们非常意外,深度学习和强化学习的威力太大了。

AlphaGo Zero是从乱下开始,找出围棋的下法,它只用了三天,走过了人类研究围棋的千年历程。这也是有趣的地方,人类几千年的累积,跟科学研究是一致的。

AlphaGo Zero前后训练了 40 天,但第 40 天还没有到达其极限,因为我们机器要做其他事情就先停下了。今年四月,我们也发表了AlphaGo Zero的论文,这篇论文的目的,没有想要跟人类知识比较、或是讨论人类知识有没有用等问题,而是想证明机器不需要人类知识也可以拥有很强的能力。

黄士杰认为,未来的人工智能,是要与人类合作,而非跟人类对抗。强人工智能距离我们仍是遥远,而现在最强的学习技能,其实仍在我们的脑袋里

 

==========================

本人微信公众帐号: 心禅道(xinchandao)

本人微信公众帐号:双色球预测合买(ssqyuce)

 

posted @ 2017-11-28 16:57  大自然的流风  阅读(834)  评论(0编辑  收藏  举报