GPU-MLIR-DeepMind-Intel酷睿漫谈

GPU-MLIR-DeepMind-Intel酷睿漫谈

参考文献链接

https://mp.weixin.qq.com/s/yyaN9WXlcdoRUjJ_5Diikg

https://mp.weixin.qq.com/s/Q5HUc22G3-RK7-IAiXvhCA

https://mp.weixin.qq.com/s/Q5HUc22G3-RK7-IAiXvhCA

https://mp.weixin.qq.com/s/tUq64aDhxzQQiqQRXKO9MQ

https://mp.weixin.qq.com/s/PIsh0YWsUprih-XqbsGKMw

摩尔线程发布会所想

2022年11月04号,国内GPU企业摩尔线程在金枫秋季发布其第二代产品春晓,其第一代GPU是在今年春季发布的苏堤。这个节奏有点类似英伟达的春季GTC和秋季GTC,也难怪人家CEO是从英伟达出来的,像模像样认认真真的学还是值得肯定的。那么来看看第二代产品的基本情况。产品定位云游戏,云渲染,桌面渲染,物理仿真,AI推理和训练,科学计算,先不管原创成分有多少,从产品形态来看的话,是集图形渲染和A计算于一身。芯片规格图形渲染跟英伟达的哪款产品相当(英伟达消费卡RTX 2080Ti ?)

 

 

 

 

 

 但带宽没有RTX2080Ti高AI算力部分跟英伟达的哪款产品相当(RTX 2080Ti)15.2TFLOPS@FP32 vs 14.4TFLOPS@FP32说明:理论的指标只是一份参考而已,更重要的是其软件栈的设计,做重要的是在运行的应用或者游戏的性能,他们才是最接地气的度量尺,也是客户最看中的指标。”Talk is Chip, Show me the Demo/Product”。

 

 

 

 产品形态MTT S80 ,定位渲染MTT S3000 定位AI训练和推理元计算一体机 MCCX,支持中国首个元宇宙平台该部分没有披露过多的细节。生态伙伴服务器,云计算厂家,中国电信和中国移动等企业,良好的生态圈是企业成功和成长的关键。

 

 对国内AI芯片企业是威胁吗?创业公司一定是专注的,一款产品不可能兼顾所有的领域,它一定是有所长,也必定有所短。从AI算力来看14.4TFLOPS@FP32, 57.6TOPS@INT8,这个算力跟目前国内主流的大芯片算力还是差距不少,微妙的是发布会一直没提功耗的大小,待日后留意。能否掀起国内游戏板卡的畅销款如何在国内同类市场中站稳并崛起,有两个角度来解读。一是产品足够的通用性,还不够;第二是性能还不错,超过英伟达的GPU。另一个角度,一是玩家能玩的游戏足够多,二是玩家玩得足够过瘾,玩得爽,有沉浸感。这两个角度其实表达的是同一层含义,做产品要有通用性,更要有差异化。除了性价比好,有独特的差异化优势才是立身之本。至于能否大卖,还得看双11的战况和后续软件支持的友好程度。小结

  • 本栏目一直关注云端AI芯片,那么在云端AI芯片这个赛道里,目前还不太倾向于把摩尔线程当成竞争对手。
  • 图形渲染是摩尔线程的主战场,尤其是明年信创大有展开之势,也祝福摩尔线程能找到属于自己的那片市场。
  • 就像英伟达的GPU产业,祈望国内企业能率先出现类英伟达的企业。

 

 

 Take Away隐约感到发布会和英伟达的发布有神似之处发布硬件产品不是目的,更优秀的配套软件基础设施才彰显出对产品的在乎和理念,对用户的尊重。公司怎样才能走得更远。软件栈?更多游戏移植?更强AI能力?拭目以待。

DeepMind创始人Demis Hassabis:AI 的强大,超乎我们的想象

导读:DeepMind,位于英国伦敦,是由人工智能程序师兼神经科学家戴密斯·哈萨比斯(Demis Hassabis)等人联合创立的Google旗下 前沿人工智能企业。其将机器学习和系统神经科学的最先进技术结合起来,建立强大的通用学习算法。最初成果主要应用于模拟、电子商务、游戏开发等商业领域。

至AlphaFold2问世之后,各钟投资人,政府机构原本拨给传统结构生物学的90%以上的经费,划拨给生物AI的实验室,各大期刊论文,国际会议进一步改革,导致传统结构生物学变成Engineering的活,原本Nature Science给各类研究审稿期7个月到1年以上,现在给DeepMind特权,2个月优先审稿,优先发表,政策和资本倾向性已经很明显。

 

 

 有人认为 AI 已经穷途末路,但一些绝顶聪明的人还在继续求索。

”作者 | 黄楠、王玥编辑 | 陈彩娴

近日,DeepMind 的创始人 Demis Hassabis 作客 Lex Fridman 的播客节目,谈了许多有趣的观点。

在访谈的一开头,Hassabis 就直言图灵测试已经过时,因为这是数十年提出来的一个基准,且图灵测试是根据人的行动与反应来作判断,这就容易出现类似前段时间谷歌一工程师称 AI 系统已有意识的“闹剧”:研究者与一个语言模型对话,将自己的感知映射在对模型的判断上,有失客观。

从2015年成立至今,DeepMind在人工智能领域的发展给世界带来过一次又一次的惊喜:从游戏程序AlphaGo到蛋白质预测模型AlphaFold,深度强化学习的技术突破解决了困扰人类科学家多年的重大科学问题,其背后团队的思考与动力,让人神往。

在Hassabis的这次访谈中,他还谈到一个有趣的观点,即 AI 超越人类的智能局限。当人类可能已经习惯这个有时间的三维世界,AI 也许可以达到从十二维理解世界的智能,摆脱工具的本质,因为我们人类对世界的理解也还存在许多不足之处。

以下是对Demis Hassabis的访谈整理:

1

从游戏到 AILex Fridman:你是从什么时候开始喜欢上编程的?Demis Hassabis:我大约4岁开始下棋,8岁时用在一场国际象棋比赛中获得的奖金买了我的第一台电脑,一台zx spectrum,后面我买了关于编程的书。我在一开始用电脑制作游戏时就爱上了计算机,觉得它们非常神奇,是自己思想的延伸,你可以让它们做一些任务,隔天睡醒回来时它就已经解决了。当然,所有机器在某种程度上都能做到这一点,增强我们的自然能力,例如汽车让我们的移动速度超过奔跑速度。但人工智能是机器能够做所有学习的最终表现,因此,我的想法也很自然地延伸到了人工智能。Lex Fridman:你是什么时候爱上人工智能的呢?什么时候开始了解到,它不只可以在睡觉的时候写程序、做数学运算,还可以执行比数学运算更复杂的任务?Demis Hassabis:大概可以分为几个阶段。我是青少年国际象棋队的队长,在大概10岁、11岁的时候打算成为一名职业棋手,这是我的第一个梦想。12岁时我达到大师级的水平,是世界上排名第二的棋手,仅次于Judith Pologer。当我试图提高棋艺,首先需要提高自己的思维过程,思考大脑是如何想出这些想法的?它为什么会犯错?怎样才能改善这个思维过程?就像80年代早期和中期的国际象棋计算机,我已经习惯了有一个 Kasparov 的品牌版本,虽然不像今天那么强大,但也可以通过与其练习来达到提高的目的。当时我想,这真是太神奇了,有人把这个棋盘编成程序来下象棋。我买了一本 David Levy 在1984年出版的《国际象棋计算机手册》,这是本非常有意义的书,让我可以充分了解国际象棋程序是如何制作的。

 

 

 图注:Kasparov,前苏联、俄罗斯职业国际象

棋棋手,国际象棋特级大师

我的第一个人工智能程序是由我的Amiga编程的,我写了一个程序来玩奥赛罗逆向思维,这是一个比国际象棋稍微简单的游戏,但我在当中使用了国际象棋程序的所有原则,即α-β搜索等。第二个阶段是在我16、17岁左右时设计的一个叫 "主题公园 "的游戏,其中涉及到 AI 在游戏中模拟,尽管以今天的 AI 标准来看它很简单,但它会对你作为玩家的游戏方式做出反应,因此它也被称为沙盒游戏。Lex Fridman:可否说一些你同 AI 的关键联系?在游戏中创建 AI 系统需要什么?Demis Hassabis:在我还是个孩子时就在游戏中训练自己,后面经历了一个设计游戏和编写 AI for 游戏的阶段。我90年代写的所有游戏,都以人工智能为核心组成部分。之所以在游戏行业这么做,是因为当时我认为游戏行业是技术的最前沿,像 John Carmack 和 Quake,好像都是在游戏中进行的。我们仍在从当中获取好处,像GPU,是为计算机图形而发明的,但后来被发现对 AI 有重要作用。所以当时我认为,游戏中拥有最前沿的人工智能。早期我参与过一个叫"黑白"的游戏,它是强化学习在计算机游戏中应用最深刻的例子。你可以在游戏中训练一个小宠物,它会从你对待它的方式中进行学习,如果你对它不好,那它就会变得刻薄,并对你的村民和你所管理的小部落刻薄。但如果你善待它,它也会变得善良。Lex Fridman:游戏对善与恶的映射让我意识到,你可以通过你所做的选择来确定结局。游戏可以带来这种哲学意义。Demis Hassabis:我认为游戏是一种独特的媒介,作为玩家并不仅仅是被动地消费娱乐,实际上,你是作为一个代表积极参与的。所以我认为这就是游戏在某些方面比其他媒介,例如电影和书籍等更有内涵的原因。从一开始我们就对 AI 进行了深入的思考,将游戏作为证明和开放 AI 算法的试验场。这也是 Deepmind 最初使用大量游戏作为主要测试平台的原因,因为游戏非常高效,也很容易有指标来查看 AI 系统是如何改进的,思考的方向,以及是否在做渐进式地改进。Lex Fridman:假设我们不能制造一台能在国际象棋中击败人类的机器,那么人们会认为,由于组合的复杂性,围棋是一个无法破解的游戏。但最终,AI 研究者造出了这台机器,人类才意识到,我们没有想象中那么聪明。Demis Hassabis:这是一段有趣的思考旅程,尤其是当我从两个角度(AI 创造者与游戏玩家)来理解时,更觉得神奇,同时又有点苦乐参半的感觉。Kasparov 将国际象棋称为智能“果蝇”,我蛮喜欢这个形容,因为国际象棋从一开始就与 AI 密切相关。我认为每一位 AI 实践者,包括图灵和香农,以及这一领域的所有先辈们,都尝试过编写一个国际象棋程序。香农在1949年写了第一个关于国际象棋的程序文档,图灵也曾写过一个著名的国际象棋程序,但由于计算机太慢无法运行,因此他用铅笔和纸来手动运行程序,跟朋友一起玩。DeepBlue 的出现是一个重要的时刻,它结合了我喜欢的所有东西,包括国际象棋、计算机和人工智能。1996年,它打败了 Garry Kasparov。在那之后,我对 Kasparov 头脑的印象比对 DeepBlue 印象更深,因为 Kasparov 是人类的头脑,他不仅可以与计算机在下棋方面达到同一水平,Kasparov 也可以做人类能做的一切,比如骑自行车、说多国语言、参与政治活动等等。DeepBlue 虽然在国际象棋中有过辉煌时刻,但它实际上是将国际象棋大师的知识提炼成一个程序,无法做其他任何事情。因此我认为该系统中缺少了一些智能的东西,这也是我们尝试做 AlphaGo 的原因。Lex Fridman:让我们简单地谈谈国际象棋中关于人类的一面。你从游戏设计的角度提出,象棋之所以吸引人是因为它是游戏。能否解释一下,在bishop(国际象棋中的“象”)和knight(国际象棋中的“马”)之间是否存在一种创造性的张力?是什么让游戏具有吸引力,并且能跨越几个世纪?Demis Hassabis:我也在思考这个问题。实际上很多优秀的象棋玩家并不一定是从游戏设计师的角度去思考这个问题。为什么国际象棋如此吸引人?我认为一个关键的原因是不同棋位的动态,你可以分辨出它们是封闭的还是开放的,想一下象和马的移动方式有多么不同,而后国际象棋在已经进化到平衡这二者的程度,大致都是3分。

 

 Lex Fridman:所以你认为动态总是存在的,而剩下的规则是试图稳定游戏。Demis Hassabis:也许这有点像鸡生蛋还是蛋生鸡的情况,但二者达到一种美丽的平衡,象和马和骑士权力不同,但在整个宇宙的位置中其价值是相等的。过去的几百年里,它们一直被人类所平衡,我认为这赋予了游戏创造性的张力。Lex Fridman:你认为 AI 系统能吸引人类去设计游戏吗?Demis Hassabis:这是个有趣的问题。如果把创造力定义为想出一些原创的、对某个目的有用的东西,那么最低水平的创造力就像一个插值表达,基础的 AI 系统都具备这样的能力。给它看数百万张猫的照片,然后给我一只普通的猫,这个被称之为插值。还有像 AlphaGo,它可以推断。AlphaGo 与自己对弈了数百万场后想出了一些非常棒的新点子,比如在对弈中走37步,提供了一个人类从未想到的策略,尽管我们已经玩了上百数千年。在此之上还有一个层次,就是能否跳出思维定式做真正的创新。你能发明象棋,而不是想出一个棋步么?是否能发明国际象棋、或其他和国际象棋或围棋一样的东西?我认为有一天 AI 可以做到,而现在的问题是如何给一个程序指定这个任务。我们还不能把高层次抽象概念具体到人工智能系统中,它们在真正理解高层次的概念或抽象概念方面仍然缺少一些东西。就目前而言,它们可以组合和构成,AI 能够做插值和推断,但都不是真正的发明。Lex Fridman:提出规则集并优化,围绕这些规则集制定复杂的目标,是我们目前无法做到的。但是否可以采用一个特定的规则集并运行,观察 AI 系统从头开始学习的时间有多长?Demis Hassabis:实际上我考虑过,这对于游戏设计师来说是惊人的。如果有一个系统拿你的游戏玩上千万次,也许一夜之间就能实现自动平衡规则。可以通过方程或参数来调整游戏中的单位或规则,使游戏更平衡。这有点像给出一个基本集,通过蒙特卡罗方法搜索或类似的方法来探索,那将是超级强大的工具。而为了自动平衡,通常需要从数百场比赛中训练数千小时,平衡像星际争霸、暴雪等这样的游戏是令人震惊的,这需要测试人员年复一年的时间。所以可以想象,当某个时刻这些东西变得足够有效,你可能会想在一夜之间做到。Lex Fridman:你认为我们是生活在模拟(Simulation)中吗?Demis Hassabis:是的。Nick Bostrom 首次提出了著名的模拟理论,但我不太相信它。从某种意义上说,我们是在某种电脑游戏中,或者我们的后代以某种方式在 21 世纪重塑地球。理解物理学和宇宙的最佳方式是从计算的角度将其理解为信息宇宙,实际上,信息是现实的最基本单位。与物质或能量相比,物理学家会说 E=mc²,这是宇宙的基础。但我认为,信息可能是描述宇宙的最基本方式,它本身可以指定能量或物质正确的物质。因此可以说我们处于某种模拟中。但我不同意这些想法丢弃数十亿个模拟。Lex Fridman:基于你对通用术语机器的理解、对计算机的理解,你认为宇宙中存在计算机能力之外的东西吗?你并不认同 Roger Penrose (数学物理学家)的意见?Demis Hassabis: Roger Penrose 很有名,曾参与过许多精彩的辩论,我读过他的经典著作《皇帝新脑》,他解释大脑中的意识还需要更多量子的东西。我工作中也一直在思考我们正在做什么,实际上,我们正将图灵机或经典计算推向极限。经典计算的极限是什么?我也研究了神经科学,这是我博士选择这一方向的原因,从神经科学或生物学的角度来看大脑中是否有量子存在。到目前为止,大多数神经科学家和生物学家会说,没有证据表明大脑中有任何量子系统或效应,大多可以用经典理论和生物学方面的知识来解释。但与此同时,从图灵机可以做的事情开始,包括 AI 系统,这个过程是一直在进行的,尤其是在过去的十年里。我不敢打赌通用图灵机和经典计算范式能走多远,但大脑中发生的事情或许可以在机器上模仿,而不需要形而上学或量子的东西。

2

Al for scienceLex Fridman:下面我们谈谈 AlphaFold,你认为人类思维都来自于这种类似神经网络的、生物的计算糊状物,而非直接在精神上工作?Demis Hassabis: 在我看来,宇宙中最大的奇迹就是我们头骨里只有几磅的糊状物,它也是大脑和目前所知宇宙中最复杂的物体。我认为这是一台令人惊奇的高效机器,这也是我一直想构建 AI 的原因之一。通过构建像 AI 这样的智能体,将其与人类思维进行比较,或能帮助我们历史以来一直想知道的心灵的独特性,和真正的秘密、意识、做梦、创造力、情感等一切事物。现在有了大量的工具来实现这件事。所有的神经科学工具、FMI机器都可以记录,也有 AI 计算能力可以建立智能系统。人类思维所能做的事情令人惊讶,人类创造了像计算机这样的东西,并思考和研究这些问题,也都是对人类头脑的证明,有助于我们更清晰地了解宇宙和人类的思想。甚至可以说,我们或许是宇宙尝试和理解自己美丽的机制所在。从另一个角度看,生物学的基本构件也可以用于理解人类思想和身体,从基本构建开始模拟和建立模型是件很神奇的事情,你可以构建越来越大的、更复杂的系统,甚至是整个人类生物学。还有一个被认为不可能解决的问题,就是蛋白质折叠,而 AlphaFold 解决了蛋白质折叠问题,这是结构生物学史上最大的突破之一。蛋白质是所有生命都必不可少的,身体每一个功能都依赖于蛋白质。蛋白质由它们的基因序列(也被称为氨基酸序列)指定,可以将其视为它们的基本构件。它们会在身体中、在自然界中折叠成一个三维结构,这个三维结构决定了它在身体中的功能。此外,如果你对药物或疾病感兴趣,想用一种药物化合物来阻断蛋白质的作用,前提是要了解蛋白质表面结合点的三维结构。

 

 图注:2021年7月,DeepMind 首次通过与欧洲分子生物学实验室(EMBL)合作建立的数据库公开发布 AlphaFold 预测结果,初始数据库包含了所有人类蛋白质的98%

Lex Fridman:蛋白质折叠问题的本质是,你能从氨基酸序列中得到一维的字母串吗?能通过计算立即预测出三维结构吗?这是50多年来生物学界的一个重大挑战。1972年的诺贝尔奖获得者 Christian Anfinsen 首次阐述,他推测,从氨基酸序列到三维结构是可以实现的。Demis Hassabis: Christian Anfinsen 的这句话开启了整个计算生物学的50个边缘领域,他们被困在当中、并没有完成得很好。在 AlphaFold 出现之前,这都是通过实验来完成的,让蛋白质结晶是件非常困难的事情,有些蛋白质不能像膜蛋白那样结晶,必须使用昂贵的电子显微镜或X射线晶体分析仪,才能得到三维结构并将其结构可视化。有了 AlphaFold 后,两个人就能在几秒钟内预测出三维结构。Lex Fridman:有一个数据集,它在这个数据集上进行训练,以及如何映射氨基酸。令人难以相信的是,这个小的化学计算机能以某种分布式方法来计算,且算得非常快。Demis Hassabis: 或许我们该讨论一下生命的起源。实际上,蛋白质本身是一个神奇的小生物和动物机器。提出列文塔尔悖论的科学家 Cyrus Levinthal 大致计算了一下,一般的蛋白质可能有2000个氨基酸碱基长,可以有10到300种不同的蛋白质折叠方式。而在自然界中,物理学以某种方式解决了这个问题,蛋白质会在几毫秒、或是一秒的时间内,在你的身体中折叠起来。Lex Fridman:该序列有独特的方式来自我形成,它找到了一种在巨大可能性中保持稳定的方式。某些情况下可能会出现功能失调等情况,但大多时候是独特的映射,而这种映射并不明显。Demis Hassabis:如果是健康通常有一个独特的映射,那患病时,究竟问题出在哪里。例如,曾经有一个对阿尔茨海默氏症的猜想是,因为以错误的方式折叠 β-淀粉样蛋白导致折叠错位,以至于在神经元中纠缠在一起。因此,要了解健康、功能和疾病,就需要了解它们是如何结构化的,知道这些东西在做什么超级重要。下一步是当蛋白质与某些东西相互作用时,它们会改变形状。因此在生物学中,它们不一定是静态的。Lex Fridman:或许你可以给出一些解决 AlphaFold 的方法,与游戏不同,这是真正的物理系统。这当中什么是非常难解决的?有哪些跟解决方案是相关的?Demis Hassabis:AlphaFold 是迄今为止我们构建的最复杂、可能也是最有意义的系统。我们起初构建的 AlphaGo 和 AlphaZero 都是与游戏相关,但最终目标不仅仅是破解游戏,而是使用它们来引导通用学习系统,并应对现实世界的挑战。我们更多是希望致力于像蛋白质折叠这样的科学挑战,AlphaFold 是我们的第一个重要证明点。就数据来说,创新数量大概需要30多种不同的组成算法,放在一起来破解蛋白质折叠。一些重大的创新是围绕物理学和进化生物学,建立了硬编码来约束像蛋白质中键角之类的东西,但不会影响学习系统,因此,系统仍能从案例中学习物理。假设只有大约15万个蛋白质,即使经过40年的实验,也大概只有约5万种蛋白质结构会被发现。训练集比通常使用的数据量要少得多,但当中使用了像自我提取等各种技巧。因此,使用 AlphaFold 做一些非常有信心的预测时,将其放回训练集中使训练集更大,对 AlphaFold 工作至关重要。实际上,为了解决这个问题,需要进行大量的创新,AlphaFold 产生的是一个直方图,一种蛋白质中所有分子之间的成对距离的矩阵,它们必须是一个单独的优化过程来创建三维结构。要使 AlphaFold 真正地从端到端,可直接从氨基酸的碱基序列到三维结构,跳过中间步骤。从机器学习中也可以发现,越是端到端,就越能使系统变得更好,系统比人类设计者更善于学习约束条件。在这种情况下,三维结构要比有中间步骤更好,因为那必须手工进入下个步骤。最好的办法是让梯度和学习一直流经系统,从终点到想要的最终输出,再到输入。Lex Fridman:关于 AlphaFold 的设想,那或许是生物学中一个漫长旅程的早期步骤,你认为同样的方法是否预测更复杂的生物系统的结构和功能、多蛋白质相互作用;其作为一个起点,能模拟越来越大的系统,最终模拟像人的大脑、人体这样的东西吗?你认为这是一个长期的愿景吗?Demis Hassabis:当然,一旦我们有了足够强大的生物学系统,治疗疾病和理解生物学就是我的 To Do List 上的首要任务,这也是我亲自推动 AlphaFold 的原因之一,AlphaFold 只是一个开始。AlphaFold 解决了蛋白质结构这个巨大的问题,但生物学是动态的,我们所研究的所有东西都是蛋白质液体结合。与分子发生反应,搭建通路,最终形成一个虚拟细胞,那是我的梦想。我一直同很多生物学朋友交谈,其中就包括了克里克研究所的生物学家 Paul Nurse。对生物学和疾病发现来说,构建一个虚拟细胞是不可思议的,因为你可以在虚拟细胞上进行大量实验,最后阶段再进入实验室来验证。就发现新药而言,从确定目标到拥有一个候选药物大约需要10年时间,如果能在虚拟细胞中完成大部分工作,或许可以将时间缩短一个数量级。为了实现虚拟细胞,必须建立对生物学不同部分相互作用的理解。每隔几年,我们就会与跟 Paul 谈论这个问题。去年在 AlphaFold 之后,我说现在终于是我们可以去做的时候了,Paul 非常激动。我们与他的实验室有一些合作。在 AlphaFold 的基础上,相信生物学会有一些惊人的进步,目前也可以看到,在 AlphaFold 开源之后已经有社区在做了。我认为有一天,人工智能系统可能会解决像广义相对论这样的问题,而不仅仅是通过对互联网或公共医疗上的内容进行处理。这将非常有趣,看它会能够想出什么。这有点像我们之前关于创造力发明围棋的辩论,不是仅仅想出一个好的围棋动作。如果想要获得像诺贝尔奖的奖项,那它需要做的是发明围棋,而不是由人类科学家或创造者来指定。Lex Fridman:很多人确实把科学看作是站在巨人的肩膀上,而问题是你在巨人的肩膀上真正达到了多少?也许它只是吸收了过去的不同类型的结果,最终以新的视角提供了突破性的想法。Demis Hassabis:这是一个很大的谜团,我相信在过去十年甚至未来几十年中,很多新的重大突破都会出现在不同学科领域的交叉点上,在这些看似不相干的领域之间会发现一些新的联系。人们甚至可以认为,深层思维是神经科学思想和 AI 工程思想间的一种交叉学科。Lex Fridman:你有一篇论文是“通过深度强化学习对托卡马克等离子体进行磁控制”,所以你在寻求用深度强化学习来解决核聚变,做高温等离子体的控制。你能解释一下 AI 为什么最终能解决这个吗?Demis Hassabis:过去的一两年里,我们的工作非常有趣和看到了成效,我们启动了很多我的梦想项目,这些是我多年来收集的同科学领域相关的项目。如果我们能参与推动,或许能带来具有变革性的影响,科学挑战本身就是一个非常有趣的问题。目前,核聚变面临许多挑战,主要在物理、材料、科学和工程等方面,以及如何建造这些大规模的核聚变反应堆并容纳等离子体。我们与瑞士洛桑联邦理工学院(EPFL)和瑞士技术研究所合作,他们有一个测试反应器愿意让我们使用。这是一个惊人的测试反应堆,他们在上面尝试各种相当疯狂的实验。而我们则看的是,当进入一个新领域如核聚变时,瓶颈问题是什么?从第一原理思考阻碍核聚变运作的底层问题是什么?在这种情况下,血浆控制是完美的。这个等离子体有100万℃,比太阳还热,显然没有任何材料可以容纳它。因此必须有非常强大的超导磁场,但问题是等离子体相当不稳定,就像在一个反应堆中持有许多颗星,提前预测等离子体会做什么,你可以在几百万秒内移动磁场来控制它接下来会做什么。如果你把它看作是一个强化学习预测问题,这似乎很完美,有控制器,可以移动磁场和切割,但此前用的是传统的控制器。我希望有一种可控的规则是他们不能在当下对等离子体做出反应,必须是硬编码的。Lex Fridman:AI 最终解决了核聚变。Demis Hassabis:去年我们在《自然》杂志上发表了关于解决这个问题的论文,把等离子体固定在一个特定的形状。实际上这几乎就像是把等离子体雕刻成不同的形状,控制它并保持在那里创纪录的时间。这是核聚变的一个未解决的问题。把它包含在结构中并保持,还有一些不同形状更有利于能量的产生,称为滴液等等,这是很重要的。我们正与许多核聚变初创公司沟通,看在核聚变领域可以解决的下一个问题是什么。Lex Fridman:论文标题中还有一个迷人的地方,通过解决分数电子问题来推动密度函数的前沿。你能解释一下这项工作吗?AI 在未来能否对任意的量子力学系统进行建模和模拟?Demis Hassabis:人们试图写出密度函数的近似值以及对电子云的描述,观察两个元素放在一起时如何相互作用。而我们试图做的是学习一种模拟,学习一种能够描述更多化学类型的化学函数。到目前为止,AI 可以运行昂贵的模拟,但只能模拟非常小和非常简单的分子,我们无法做到模拟大型材料。因此要建立函数近似值来展示其方程后,描述电子在做什么,所有材料科学和性质都是由电子如何相互作用来控制的。Lex Fridman:通过功能对模拟进行总结来接近实际模拟出来的结果,这项任务的难度在于运行复杂的模拟,学习从初始条件和模拟参数的映射任务,学习函数会是什么?Demis Hassabis:这很棘手,但好消息是我们已经做到了,我们可以在计算集群上运行大量的模拟,即分子动力学模拟,由此产生了大量的数据。在这种情况下,数据是生成的。这就是为什么我们使用游戏模拟器来生成数据,因为可以随心所欲地创造出更多的数据。如果在云端有空闲的电脑,我们就可以运行这些计算。

3

AI 与人类Lex Fridman:你怎么理解生命起源?Demis Hassabis:我认为 AI 的最终用途是将科学加速到极致。它有点像知识之树。如果你想象这就是宇宙中要获得的所有知识,但目前为止,我们几乎只触及了它的表面。AI 会加速这个过程,尽可能多地探索这棵知识树。Lex Fridman:直觉告诉我,人类的知识之树是非常小的,考虑到我们的认知局限。即使有工具,我们仍然不能理解很多事情。这也许是非人类系统能够走得更远的原因。Demis Hassabis:是的,很有可能。但首先,这是两件不同的事情。就像我们今天理解了什么,人类的思想能理解什么,我们要理解的整体是什么,这里有三个同心,你可以把它们想象成三棵更大的树,或者探索这棵树的更多分支。有了 AI 后我们会探索更多。现在的问题是,如果你思考一下我们能理解的事物的总体是什么,可能有些事物不能被理解,比如模拟之外的事物,或宇宙之外的事物。Lex Fridman:因为人类大脑已经习惯了这个有时间的三维世界的状态。Demis Hassabis:但我们的工具可以超越这些。它们可以是11维,12维的。我经常举的例子是当我和 Gary Kasparov 下棋时,我们讨论过象棋之类的东西,如果你很擅长下棋,你不能想 Gary 他的走法,但他可以给你解释。你可以将其理解为事后推理。有一个进一步的解释,也许你不可能发明这个东西,但你可以理解和欣赏,就像你欣赏维瓦尔第或莫扎特一样欣赏它的美。Lex Fridman:我想问一些更疯狂的问题。比如,你认为地球之外有外星文明吗?Demis Hassabis:我个人的看法是,我们目前是孤独的。我们已经有各种天文望远镜和其他探测技术,尝试着在太空里寻找其他文明的信号,如果现在有许多外星文明在同时做这样的事,那我们应该听到来自外太空的嘈杂声音。可事实是,我们什么信号也没收到。有很多人会争辩说,世界上有外星文明,只是我们还没有真正好好地去搜索,或者说我们找的波段错误,也有可能使用了错误的设备,我们没有意识到外星人存在的形式非常不同,等等。但我不同意这些观点,我们其实已经做了很多探索了,如果真有那么多外星文明,那我们应该早就发现了。有趣的是,如果地球是孤独的文明,从大过滤器(Great Filters)的角度来看,这还挺令人欣慰,这意味着我们已经通过大过滤器的筛选了。说回你刚才问的生命起源问题,生命起源于一些令人难以置信的事物,而且没人知道这些事是怎么发生的。如果在地球以外的地方看到单细胞的某种生命形式,比如细菌,我不会感到惊讶。但就凭其能够捕获线粒体并将线粒体为我所用的这个能力,多细胞生命的出现的难度就是空前绝后的。图注:Demis Hassabis所提到的大过滤器理论Lex Fridman:你认为需要有意识才能有真正的智能吗?Demis Hassabis:我个人认为,意识和智慧是双重分离的,所以我们可以在没有智慧的同时实现意识,反过来也一样。举个例子,很多动物是有自我意识的,也会社交和做梦,它们可以被定义为有一定的自我意识,但是它们没有智慧。但同时,那些在某一任务上非常聪明的人工智能,它们会下象棋,或者执行其他任务执行得非常好,但是它们没有任何的自我意识。Lex Fridman:前段时间谷歌的一个工程师认为某个语言模型是有感知的,你遇到过有感知的语言模型吗?如果一个系统出现了“感知”,你怎么理解这种情况?Demis Hassabis:我不觉得目前世界上的任何一个 AI 系统是有意识或者有感知的,这是我每天与 AI 互动的真实感受。所谓感知,更多是我们大脑自己的投射,由于那是一个语言模型,与智慧息息相关,所以人们就很容易把系统拟人化。这也是为什么我认为图灵测试有缺陷,因为它建立于人的反应和判断上。我们应该和顶尖的哲学家谈谈意识,比如 Daniel Dennett 和 David Charmers,以及其他对意识有深刻思考的人。目前意识还没有公认的定义,如果让我来说的话,我觉得意识的定义是,信息得到处理时带来的感觉。Lex Fridman:让我问一个黑暗的私人问题。你说创造一个世界上最强大的超级人工智能系统。正如老话所说,绝对权力导致腐败,你也很有可能成为其中一员,因为你是最有可能控制这个系统的人。你会考虑这些么?Demis Hassabis:我每时每刻都在思考有什么能对抗这种腐败的防御措施。人类最大利益的工具或技术让我们进入一个激进的世界,我们面临着许多艰巨的挑战。AI 可以帮助我们解决问题,最终使人类走向终极繁荣,甚至找到外星人。而 AI 的创造者,AI 所依赖的文化,AI 拥有的价值观,AI 系统的构建者都会影响它的发展。即使 AI 系统会自己学习,但其大部分知识也会带有一定已有文化和创造者价值观的残留。不同的文化让我们比以往任何时候都更加分裂,也许当我们进入了一个极度富足的时代以后,资源不那么稀缺了,我们就不需要激烈竞争,而是可以转向更好的合作。Lex Fridman:当资源受到重大限制时,一些暴行就会发生。Demis Hassabis:资源稀缺是导致竞争和破坏的原因之一,全人类都想生活在善良、安全的世界里,所以我们必须解决稀缺性的问题。但这还不足以达成和平,因为还有其他东西会产生腐败。AI 不应该任由仅仅一个人、或者一个组织来运行。我认为 AI 应该属于世界,属于人类,每个人都应该对 AI 有发言权。Lex Fridman:你对高中生和大学生有什么建议吗? 如果年轻人有从事 AI 的愿望,或者想以自己的力量影响这个世界,他们应该如何获得一份自己由衷感到自豪的职业?如何找到理想的生活?Demis Hassabis:我总喜欢对年轻人说两句话,第一句话是,你真正的激情在何处?年轻人应该去尽可能地探索这个世界。在人年轻时,我们有足够多的时间,还能够承担探索带来的风险。以自己独特的方式去寻找事物之间的联系,我认为这是寻找激情所在的好方法。第二句话是,了解你自己。要花很多时间去了解自己最佳的工作方式是什么,最佳的工作时间是什么时候,最佳的学习方式是什么?,如何应对压力。年轻人应该在不同的环境下测试自己,尝试改进自己的弱点,找出自己独特的技能和优势,然后磨练它们,这些就是你以后在这个世界上的价值。如果你能把这两件事结合起来,找到自己的激情所在,锻炼出你自己独特而强大的技能,那么你就会获得不可思议的能量,给世界带来巨大的改变。

MLIR:新建一个Dialect(三),待编译的mlir文件

MLIR 项目的核心是 Dialect,MLIR 自身就拥有例如linalgtosaaffine 这些 Dialect。各种不同的 Dialect 使不同类型的优化或转换得以完成。

接上回,本文继续新建一个 Dialect的内容。本文开始解析项目的各个实现部分之一——待编译的 .mlir 文件。

1项目内容

mlir-hello[1] 项目的目标就是使用自建的 Dialect 通过 MLIR 生态实现一个 hello world,具体做法为:

创建 hello-opt 将原始 print.mlir (可以理解成 hello world 的 main.cpp)转换为 print.ll 文件
使用 LLVM 的 lli 解释器直接运行 print.ll 文件

今天先通过 print.mlir 理解一下 MLIR 世界的语法,该文件在 mlir-hello/test/Hello/print.mlir

func.func @main() {
    %0 = "hello.constant"() {value = dense<[[1.000000e+00, 2.000000e+00, 3.000000e+00], [4.000000e+00, 5.000000e+00, 6.000000e+00]]> : tensor<2x3xf64>} : () -> tensor<2x3xf64>
    "hello.print"(%0) : (tensor<2x3xf64>) -> ()
    return
}

2print.mlir 文件解读

 

 

 print.mlir

在 @main 这个 FuncOp 里,首先定义了一个 hello.constant 存放于 %0
%0 的内容为一个  的二维 const 的 tensor,数值类型为 float64
在第二个自定义的 Dialect Op hello.print 中,%0 作为参数被传入(打印)

图最下的蓝框内为 MLIR 的一般形式,它与 SSA 相似,可参考MLIR:静态单赋值,SSA。更多语法信息参看MLIR:LangRef[2]

可以猜测,该代码最终的效果为“打印出这个二维矩阵”。

3本期结语

对 mlir-hello 项目的源代码文件 print.mlir 进行了学习,通过自定义的 Dialect 实现可以将该文件“编译”为 LLVM lli 解释器可直接运行的 .ll 文件。我们下期继续。

参考资料

[1]

mlir-hello: https://github.com/Lewuathe/mlir-hello

[2]

MLIR:LangRef: https://mlir.llvm.org/docs/LangRef/

英特尔13代酷睿:寒冬中的希望?

英特尔13代酷睿处理器来了,但是到底值不值得买呢?

13代酷睿的代号是Raptor Lake,猛龙湖,很霸气的名字。不过从表面看上去,它貌似只是12代酷睿的Pro plus版,芯片制程没变、芯片架构也没变。但从性能数据上看,却比12代取得了还不错的提升。

 

 

 (图片来自网络)

猛龙加持的英特尔的13代酷睿到底有多猛?以及它能否成为支撑蓝厂在寒冬中前进的希望。

13代酷睿的“变”与“不变”

最近一段时间对于游戏玩家来说应该很爽,各大芯片厂商像下饺子一样推出了自己的新品。从绿厂的RTX4000系列显卡,到红厂的Ryzen7000系列CPU,再到这次的英特尔13代酷睿上架。根据蓝厂的说法,13代酷睿Raptor Lake的旗舰版13900K是世界上性能领先的桌面处理器。

 

 

 我注意到一个很有意思的点,就是在英特尔这次的发布里,游戏体验是它们讲的最多的,看出来蓝厂这次发力的重点,就是要给玩家打造最好的游戏体验。

不过,看起来13代酷睿并不想要改头换面式的提升。事实上,除了开天辟地的变革,有的时候借助一些巧劲也是可以取得不错的性能和体验提升。这次的13代酷睿就主要在以下三个方面使了不少巧劲,我们一个一个来看。

首先,芯片工艺没变,但性能更好了。说芯片,必然会提到制造芯片的工艺。之所以说下一代酷睿Meteor Lake是万众瞩目,很大原因是它将是第一个采用采Intel4工艺的CPU产品。相比之下,13代酷睿和上一代一样,依旧沿用了Intel 7工艺打造。而且从芯片架构上来看,上一代首次采用的性能核+能效核的这种异构架构也延续了下来。

可是,不要以为这代表着英特尔又“躺平”了。巧劲其实在这里:同样是Intel7工艺,但是SuperFin晶体管技术已经进化到了第三代。在一个工艺节点上进行不断打磨和优化,这可是英特尔的强项。这代工艺主要在英特尔的以色列工厂研发和优化,根据他们给到的数据,13代酷睿用到的Intel7工艺提供了更好的每瓦性能,在性能上其实等价为Intel6。这相当于在一个大的半导体工艺节点上做出来一个明显的推进,这其实也是行业通常的做法。

步子太大容易出事情,小步快走其实效果更好。

当然,工艺的提升肯定会带来性能的增长和功耗的优化。最明显的就是这次发布的i9-13900K,睿频可以达到5.8GHz,单线程性能也比前一代提升了15%。关于13代酷睿的架构提升我们讲完这部分再接着具体说。

13代酷睿的第二个巧劲,就是对定价也没有“大动”,尤其是高端系列的i9。i9-13900K保持与上一代i9-12900K“同价”——589美元。而在某东开出的国行价方面,;i9-13900K/KF定价为4899元/4699元;i7-13700K/KF定价3299元/3499元;i5-13600K/KF定价2699元/2499元。与12代对比,i5小涨400元,i7涨价300元,i9-13900KF售价不变,i9-13900K降价100元。当然,如果和友商7000系列的高端版5499元定价相比,13代酷睿在价格上的优势还是很明显。

第三个巧劲,就是保证了兼容性。用大白话说,就是13代酷睿不折腾人。它的接口仍然是LGA1700,并且兼容600系列的主板,让12代玩家无缝连接新一代酷睿,省了更换主板的钱,而且兼容DDR4和DDR5两种类型的内存。这样一来,整机配置性价比优势凸显,同样给玩家更好的选择和充足的 “换新”理由。当然这只是理论情况,具体还是要看13代酷睿的功耗和主板的供电匹配等等一些列问题,手持低端主板的朋友还是要根据实际情况做评估。

不管怎样,虽然芯片的制造工艺的大节点、芯片架构和上一代的区别并不大,但通过小节点的进步、定价策略以及兼容性的设计,很好的提升了13代酷睿的竞争力。

13代酷睿架构解析

总的来说,英特尔在13代酷睿上也开启了堆料模式。主要堆了两个地方:一个是性能核的缓存大小,一个是能效核的数量。

先说缓存,它是CPU内核里面用来存储数据的部分,之所以叫缓存,是因为它起到数据搬运过程中缓冲的作用。CPU直接去读写主板上的内存速度很慢,因为它们离的太远了。所以需要在中间再加上几道缓存,先通过一定的算法预测未来可能需要哪些数据,然后提前把数据从内存读取到缓存里,这个操作在CPU设计里叫做预取。等用到数据的时候,直接从缓存里读写就可以了,速度要快很多。通常情况下,缓存越大,CPU内核的性能会越高。

13代酷睿的性能核采用了名叫Raptor Cove的新的微架构,它就把每个性能核的二级缓存大小提升了将近一倍,从原来的1.25MB提升到2MB。同时,缓存的预取算法也更加高效了,使用了机器学习的方法进行实时的数据遥测,简单来说就是能更精准的判断和预测未来会需要用到什么数据,然后提前抓到缓存里。这样性能肯定就大幅提升了。

 

 

 性能核还根据Intel7工艺做了很好的优化和适配,和前一代相比取得了更好的电压频率曲线,单核频率提升达到600MHz。也就是说,可以在更低的电压下、取得相同的频率;也可以用相同的电压,获得更高的频率。这样不管是性能还是功耗,都有更好的表现,对于台式机和笔记本来说都是有好处的。

不仅性能核的缓存翻倍,能效核的缓存大小也都翻倍了。虽然仍然采用了上一代的Grace Mont架构,但四个性能核一组共享的二级缓存大小翻到了4MB。预取算法同样也提升了。这样让13代酷睿里的能效核的频率和IPC都超过了14纳米SkyLake处理器的性能。

别忘了它只是个能效核,性能并不是最重要的,而是低功耗。所以这一代的能效核的性能功耗比,就有了更好的提升。

除了在缓存上堆料,13代酷睿的核心数量也在各种堆,就拿这次重点推出的125W的K系列处理器i9-13900K来说,它包含24个核心,8个性能核,16个能效核,能效核的数量比12代的i9-12900k翻了一倍。此外,i7和i5的内核数量也提升了,其中i7-13700K和i5-13600K都各增加了4个能效核。

 

 

 当然了,“堆核”肯定带来更多的线程数量,最高32线程,单线程性能提升15%,多线程性能提升高达41%。很明显,这就是为了更好的应对多任务处理场景而设计的,比如一边玩游戏,一边直播,一边录屏,做真正的时间管理大师。

从英特尔给到的这张图里能看出来,单核性能的提升超过一半以上是由于频率提升,而多核性能提升则并不是单纯因为内核数增加才提升的,而是频率、缓存、线程数量共同提升的结果。也就是说,堆料也是有讲究的,否则一个CPU里早就堆上几十个内核了。

 

 

 值得一提的是,这种性能核+能效核的混合设计方法,最近几年已经成为了行业通行的做法,它最大的好处就是让正确的核做正确的事。如果只有同样的内核,一些非常简单的后台任务都要占据大量的内核算力,这显然太亏了。有了能效核之后,这些后台任务可以都交给它来处理,然后为前台任务集中更多的性能核算力。这其实就是一种合理进行任务分配的过程。

当然这个分配过程肯定不是人工完成的,在12代酷睿里英特尔就设计了一个名叫线程调度器的特殊组件,并且配合操作系统来进行各种任务的调度和分配。在13代酷睿里,又对这个线程调度器进行了进一步优化,比如更新了线程类别边界,从而更好的理解前后端应用和程序的使用和运行的情况,实现更加智能的任务调度。

 

 

 再看看接口方面,13代酷睿支持雷电4,提供40Gbps的数据传输。也支持CPU直连的16条PCIe5.0通道和4条PCIe4.0通道。内存方面增加了对DDR5-5600和DDR5-5200的支持,但像前面说的,也同时支持DDR4,并没有一刀切,这还是比较厚道的。

前面说过,游戏是英特尔这次发布的13代酷睿的主战场。根据英特尔给出的例子,他们测了32款游戏,超过一半以上都有5%的性能提升,英雄联盟有24%的性能提升。包括和友商的竞品相比,13代酷睿的性能提升也很明显。当然这里对比的是友商目前市面上的产品,红厂新的锐龙7000刚刚发布,目前还没有数据。一方面锐龙7000比锐龙5000的游戏性能提升有限,大概10%左右,所以理论上推算的话仍然是13代酷睿占优。

但另一方面,需要注意的是这里的游戏应该都有针对13代酷睿做过相应的优化,体现的是能力值的上限。实际结果究竟是否有这么明显的差别,或者差别更大,可以关注这几天各位大佬测试的结果。

对于像我这样很少玩游戏的内容创作者和软硬件开发者来说,CPU性能也同样非常重要,对于芯片开发用到的EDA软件来说,很多时候就是要靠CPU的单核单线程性能去做编译,所以特别需要单核性能高的CPU。这次在英特尔公布的数据里,主要展示了一些常见内容创作的场景,比如2D、3D建模,以及Autodesk的建模测试等等,和友商的5950X相比,13代酷睿可以取得47%和69%的性能提升。

 

 

 当然我也建议英特尔之后多加入一些我们电子信息和计算机专业同学关心的性能表现,比如MATLAB计算、Vivado编译时间等等。如果实在不方便做,也可以寄给我两台机器,我可以帮忙做下测试~大家平时都用哪些专业软件编译时间比较久,也可以在留言里告诉我,说不定我们可以做个自己的CPU测试集。

技术流回归,13香定律再现?

在正式开卖13代酷睿之前,英特尔CEO派特基辛格给自己隔空喊话:“你一定要成为技术CEO,而且你不一定非要看Excel”。其实就是希望驱动英特尔未来发展的是实打实的技术,而不是每个季度的财务报表。

 

 

 可以看到,13代酷睿也在坚定执行这位CEO的战略方向。即便它有可能是英特尔Intel 7制程的最后一代CPU产品,英特尔也让它将性能开足了马力。

只不过,现在的全球PC市场远没了过去两年热火朝天的景象。英特尔目前先推出了面向游戏和发烧友的旗舰级产品,或许也是想先提前“探路”,到年底再出笔记端电脑的CPU,而笔记本和它代表的移动办公需求,可能比游戏业务的蛋糕更大。

回到开头提的那个问题,13代酷睿到底值不值得买?13香定律,在英特尔这里还适不适用?个人认为,面对Intel 4工艺的等待,13代酷睿不失为一个选择。至少性能看起来不错,一些在12代酷睿中刚刚被提出的技术,也得到了优化和更新。不过12代酷睿本身也很好,从性价比的角度来看,不妨多看看最近的真机的测评再做决定。

 

 

参考文献链接

https://mp.weixin.qq.com/s/yyaN9WXlcdoRUjJ_5Diikg

https://mp.weixin.qq.com/s/Q5HUc22G3-RK7-IAiXvhCA

https://mp.weixin.qq.com/s/Q5HUc22G3-RK7-IAiXvhCA

https://mp.weixin.qq.com/s/tUq64aDhxzQQiqQRXKO9MQ

https://mp.weixin.qq.com/s/PIsh0YWsUprih-XqbsGKMw

posted @ 2022-11-04 04:30  吴建明wujianming  阅读(615)  评论(0)    收藏  举报