nv-gtc-aicon-2024-merge-1

Nvidia GTC 人工智能大会 2024 笔记（二）

回答（David）： 我分享一下我的想法，也许其他小组成员也有他们的想法。这与Geway刚才谈到的可访问性有关。模型很大、很重，推理需要很长时间。过去六个月出现了很多创新，现在似乎每周都有关于如何压缩它们、让它们运行更快、让训练更容易的新技术出现。但为了获得更广泛的采用和应用，我们必须改进可访问性问题。从今天讨论的基调可以看出，我们对应用非常感兴趣，将这些技术应用到实际中。所以对我来说，这是最大的宏观挑战，但我们看到了很多微观解决方案，不过还有很长的路要走。

回答（Chris）： 我补充一下。我期待看到的事情之一是，目前LLM的一个弱点是数学推理和逻辑。它们非常擅长所有人文学科和社会科学。我期待在这个领域不断进行的研究。我认为最近发布了一个新模型，可能在某些数学任务上已经超过了ChatGPT。所以我期待在这方面的发展。

问题4： 你之前评论说，目前竞赛中想出创造性的方法来准备数据非常重要。你能分享一些经验吗？到目前为止，什么方法效果好，什么方法效果不好？

回答（Geway）： 当然。我认为最近有一个竞赛，是“LLM论文检测”。基本上，任务是检测哪些论文是高中生写的，哪些是由大语言模型生成的。在这个竞赛中，我认为提供的大多数训练数据都来自真实学生生成的数据。没有提供LLM生成的数据，只有三个例子。所以参与者必须尝试不同系列的LLM，比如Llama 2系列、Mistral等，以及其他开源模型生成的论文。他们必须以某种方式弄清楚，哪一个的分布最接近测试数据。这里进行了大量的分析，比如研究LLM生成文本的细微差别，试图弄清楚也许应该使用Mistral，也许那就是测试数据。Kaggle被用来进行评估，我认为这实际上是最终获胜解决方案中的一个重要因素。

回答（David）： 我想补充的是，在这种情况下，多样性是关键。你能用越多的模型生成数据，能做的参数调整或参数变化越多，比如改变温度，你基本上可以向问题投入尽可能多的生成数据，因为在一定程度上你是在猜测隐藏的测试集或应用集会是什么样子，而你并不知道。所以当你不知道时，对抗它的唯一方法就是用尽可能多样化的数据来“淹没”它。

问题5： 感谢这次演讲，非常有见地。我对你们谈到的多模态非常感兴趣。正如我们今天所见，文本似乎是黄金标准，你要么获取图像并从中创建文本，然后将其用作某种嵌入，要么每次都单独进行。每次从视频到图像或从图像到文本，你都会丢失大量信息。现在，文本真的是黄金标准吗？因为它是一种界面，人们在键盘上打字。你们是否看到了一个未来，标准可能是通过提交视频来提问并获得更好的回应？还是说在可预见的未来，真的只会是文本？

回答（Laura）： 也许我们可以回答这个问题。我认为有很多方式可以讨论，但我认为现在已经有这样的系统了。例如，你可以想象在RAG中，不仅可以查看文本，还可以查看一堆文档，你也可以查看一堆被检索的图像。所以你的系统并不局限于文本，只是与人类交互的第一步用文本要容易得多，所以你从那里开始。例如，我们一直在研究将大脑信号与图像和文本对齐，与图像对齐要容易得多。文本并不能真正描述大脑中代表的一切，也许是因为你实际上在看一部电影，你在记录大脑信号，所以大脑信号与图像的相关性要高得多。所以我认为，你的系统不一定需要通过文本，但人类的输入用文本要容易得多。我认为这可能会持续下去，但这并不意味着在中间，我们不能有其他类型的连接，比如图像和其他模态之间的连接。它不一定需要通过文本。

追问： 抱歉，快速跟进一下。你们有没有看到有效的方法，从低信息环境进入高信息模态，比如从文本到语音，而不是反过来？

回答（主持人）： 抱歉打断一下，我想我们的时间到了。再次提醒，今天下午还有“与专家会面”的环节。如果您有更多问题，请随时向小组成员提问。让我们感谢小组成员，也感谢大家的参与。

感谢您参加本次会议。请记得在GTC应用程序中填写会议调查，有机会赢得50美元礼品卡。如果您留在房间参加下一场会议，请留在座位上，并准备好您的徽章供我们的团队扫描。

总结

在本节课中，我们一起学习了来自Kaggle大师和专家们关于竞争性人工智能和大语言模型前沿的见解。我们探讨了大语言模型（如GPT）的训练过程，包括预训练、监督微调和基于人类反馈的强化学习。我们比较了编码器模型（如BERT）和解码器模型（如GPT）的不同架构和应用场景。我们还深入了解了LLM如何与视觉系统结合，实现开放世界场景理解和图像生成，以及检索增强生成技术如何通过结合外部知识库来显著提升LLM的准确性和实用性。最后，我们讨论了这些前沿技术如何改变数据科学竞赛的格局，并展望了未来的发展趋势。希望这些内容能帮助初学者更好地理解当前AI领域的热点技术和应用方向。

008：OpenAI COO Brad Lightcap与NVIDIA企业计算副总裁Manuvir Das的对话

在本节课中，我们将一起学习OpenAI首席运营官Brad Lightcap与NVIDIA企业计算副总裁Manuvir Das在NVIDIA GTC 2024大会上的对话。他们将探讨生成式AI在企业中的应用现状、挑战、未来趋势以及OpenAI的战略思考。我们将整理对话的核心内容，以简单直白的方式呈现给初学者。

概述

本次对话围绕生成式AI在企业中的落地展开。OpenAI COO Brad Lightcap分享了ChatGPT在企业中的惊人采用率、从消费级产品到企业级服务的演进过程，以及OpenAI如何帮助企业从小规模试点开始，逐步将AI整合到复杂的工作流程中。同时，他也展望了AI从信息检索工具向“推理代理”发展的未来趋势。

会议开场与嘉宾介绍

大家好，我是Wallace Mills，NVIDIA的执行思想领导力战略家。在会议开始前，有几件事需要告知大家：本次会议录像将在72小时内上线，一个月后可在NVIDIA on Demand平台观看。请务必下载NVIDIA GTC应用程序以获取最新更新、会议目录和调查问卷。此外，二楼展厅将于今天中午12点开放，欢迎大家前往探索。

我非常荣幸地为大家介绍本次会议。我们与NVIDIA的多位领导者合作策划了“商业洞察”专题，并以这场备受期待的对话作为开场。当许多人刚刚开始接触生成式AI浪潮时，我们NVIDIA已经准备探讨“下一步是什么”了。

有请NVIDIA企业计算副总裁Manuvir Das。他在NVIDIA领导团队致力于通过为每个企业客户提供全栈加速计算来普及AI。Manuvir在科技行业拥有超过30年的经验，在2019年加入NVIDIA之前，他曾在戴尔和微软担任一系列高级职务，并帮助创建了Azure云计算平台，同时还是华盛顿大学的客座教授。

欢迎Manuvir。

谢谢。这场会议的主角不是我。感谢大家今天上午的到来。希望你们喜欢昨天黄仁勋的主题演讲和所有发布。他提到了我们的第一台DGX系统DGX1，并亲自将其交付给了一家名为OpenAI的初创公司。这个团队在过去几年所取得的成就绝对令人惊叹。今天我们非常幸运，能够与OpenAI的首席运营官Brad Lightcap一起开启这场对话。他同时也是杜克大学的校友，我刚才还在调侃他，因为我是威斯康星大学的。看来锦标赛对阵表已经出炉，我们两队可能在第二轮相遇，那时我们可能就不是朋友了，但今天是的。

关于Brad有趣的一点是，他显然在OpenAI担任重要角色，他也被称为Sam Altman的“秘密武器”，是Sam真正依赖的人。我相信他会有很多有趣的内容与我们分享。Brad，请上台。

Brad Lightcap的角色与OpenAI的企业之旅

Manuvir Das: Brad，能否先介绍一下你在OpenAI的日常角色，以及让你夜不能寐的事情是什么？

Brad Lightcap: 谢谢邀请，很高兴来到这里。这是我第一次参加GTC。我在OpenAI担任COO，花大量时间思考如何将我们研究实验室的成果转化为客户、用户和合作伙伴可用的产品。通常人们会问这具体包括什么？我会说，这包括除了实际做研究之外的一切。他们不让我碰电脑，我只是为它们付钱。我大部分时间都与客户在一起，试图弄清楚这项技术将如何融入世界。

至于什么让我夜不能寐？其实没什么，除了Slack。我认为未来几年会非常有趣。我们仍然处于曲线的平缓部分。在我们看来，这就像第一局的开端。随着这项技术的构建、发展以及我们扩展这些系统，我们认为其能力将会非常惊人。

Manuvir Das: 很多人将OpenAI视为ChatGPT，认为它是普通消费者体验技术的途径。但你现在也与企业公司合作很多。我们NVIDIA接触的大多数客户现在都在公司内部构建了某种形式的RAG应用。他们是怎么做的？他们调用OpenAI的API。我和观众都很好奇，这段经历是怎样的？你本人也深度参与企业客户的工作，能谈谈进展如何吗？

Brad Lightcap: 当我们推出ChatGPT时，使用量显然激增了。这个产品最初并非为企业设计，我们花了大约六个月时间才搞清楚发生了什么，并确保我们有足够的GPU来支持增长。感谢NVIDIA。去年下半年，我们开始意识到企业中存在着一系列合法且不断增长的应用场景，人们开始将ChatGPT引入工作。这就是为什么我们最终推出了ChatGPT Enterprise，以及后来的Team版本。我们感受到的拉力不仅来自中小型企业，甚至来自财富500强。目前，超过90%的财富500强公司以某种形式使用ChatGPT，我们正努力引导他们使用正式的Enterprise版本。

其惊人之处在于它的普适性。据我们所知，公司的每个职能部门都找到了某种方式让这项技术为他们所用。我们不需要构建很多垂直用例或应用，它自己就能发挥作用。例如，财务团队分析大量数据、进行对账和税务分析时，可以将大型电子表格放入聊天中，直接提问并要求其对账，它就能完成。它能让HR人员在有需要时变成数据科学家。人们就这样找到了契合点，我们正在尝试为他们构建更好的工具。

Manuvir Das: 这确实令人惊讶。因为你是对的，这项技术有多好一直让人感到意外。Brad，当我们与企业客户交谈时，我们看到最多应用的用例就是“助手”。就像你有一个免费的实习生，无论你是什么职能，都可以构建一个聊天机器人来做你的工作，先完成80%，然后你再完善它。你们看到的情况也是这样吗？

Brad Lightcap: 是的，在一些具体的用例中，确实存在那种“最后一英里”的工程工作。我们有一个团队可以帮助客户解决这个问题。我们以非常实践的方式开展这项工作。我认为，随着模型变得更好，这部分工作会开始减少。我们看到两方面的情况：一部分是解决模型在能力上仍存在的缺陷，另一部分则是试图为模型提供执行任务所需的所有上下文。第二部分可能不会消失，因为世界庞大而混乱，但我认为第一部分会随着模型改进而显著加速。

OpenAI的平台战略与价值创造

Manuvir Das: 显然，你们拥有出色的模型，各种版本的GPT为ChatGPT提供动力。围绕OpenAI已经形成了一个完整的工具生态系统，帮助人们使用这些技术。我好奇的是，对于你的公司，你是否将使命和角色视为为使用此类技术的应用开发者提供一个完整的平台，还是只想成为核心模型服务的提供者？

Brad Lightcap: 我认为两者都是。我们看待它的方式是，一切都是智能之上的抽象层。问题在于我们想构建多少层抽象，但我们会构建任何我们认为能加速世界吸收技术、将智能引入我们认为它应该存在的每个角落的东西。我角色中相当谦卑的一部分是，你开始意识到世界有多大，有多少地方可以应用这项技术。每当我花精力思考是否应该构建某个特定的第一方应用时，我都会提醒自己，外面总有人比我们更关心某个具体问题，99%的情况下都是如此。因此，如何构建一套工具集，让他们能够构建他们想要的技术、工具和应用？然后，作为基础部分，我们专注于哪些事情？那些能够赋能他们并创造出色用户体验的基础层。

Manuvir Das: 这很有趣，因为在某种程度上，你正在经历NVIDIA在过去几年走过的旅程。我们NVIDIA喜欢把时间花在做别人做不到的事情上，别人能做的事情就让他们去做。因为你感到手中有一种工具，你的工作是让这个工具尽可能好、影响范围尽可能广，并让其他人在此基础上构建。你拥有这个惊人的工具，我相信你也能感受到那种责任感，正如你所说，你可以用这个工具影响整个世界。我认为这是一件非常强大的事情。

我想到的另一件事是，黄仁勋昨天提到，世界的产业规模达100万亿美元。以你的背景，我相信你也会思考这个问题。因为在科技世界，长期以来都是关于成本的。每家公司都必须有IT部门，有预算，问题是如何降低成本。每一项新技术都具有颠覆性，因为它能让某些事情变得更便宜。但我认为，在你所在的领域，以及我们相信我们所在的领域，这实际上是关于新的机会、为公司创造新的价值。我的意思是，没人说过GDP必须保持平稳，它允许事物增长。你们也这样看吗？

Brad Lightcap: 是的，我们同意。如果你从根本上审视这项技术是什么，它本质上就是将某些任务卸载给具有通用学习能力、并能随着规模扩大、信息增多、上下文更丰富、能力更强而可预测地变得更好的模型。对我们来说，令人兴奋的是从企业角度来看，大型企业有多么复杂，有多少唾手可得的成果可以说：“对于这个具体的事情，我们实际上可以将工作流程的部分环节卸载给一个AI，它不仅能达到基线水平，而且可以随着时间的推移做得更好，并逐渐掌控整个价值链的更多部分。”这能让人们专注于其他事情。我们在实践中看到的情况是，与其花两个小时坐在那里绞尽脑汁试图完成收入对账，AI可以探索并为你解决问题，你只是对问题投入了计算资源，突然间问题就解决了。而原本要花那个时间的人，现在可以去思考更重要的事情。

Manuvir Das: 我这么说是因为我也管理财务。是的，注意到所有这些例子都与财务有关，它就在脑海里。我相信你的团队一定在使用ChatGPT。我想我们现在所有人手机里都有ChatGPT。这就是我去的地方。

这里有很多来自企业背景的人。我认为很多人心中的问题是：互联网等地方有全世界的知识，模型显然在吸收这些知识方面做得很好。然后每家公司都有自己的知识库，分散在很多不同的地方。不同的人有不同的处理角度。显然，有RAG。在NVIDIA内部，我们做了很多微调。我好奇的是，对于OpenAI，你们对企业公司应如何将所有数据整合到AI过程中的愿景是什么？

Brad Lightcap: 这是我们被问得最多的问题，可能也是目前最未解决的问题。这是可以预料的，我认为我们在这个阶段转变中还很早期。你有了这个核心技术，人们可以试探性地使用，但所有基础设施和系统的管道连接和配置需要时间。我们现在开始看到的是，人们能够将非常有趣的数据仓库、清晰的用例识别以及对模型如何应用于这两者的理解结合起来。将这三者绑在一起，就能获得非常好的结果。

最近的一个例子是我们与Khan Academy在客户支持用例上的合作。Khan Academy在AI方面是非常前瞻的公司，他们已经做了一段时间。但他们采取了正确的方法，即从一个非常具体的、受约束的问题开始实施这项技术。他们审视了工作流程中非常小的一部分，使用非常具体的数据集和非常具体的模型实现方式，让这一部分工作起来，然后在此基础上扩展。现在它处理了很大一部分工作，为他们节省了大量时间。我们倾向于引导这种方法是：不要试图一开始就吞下整个海洋，不要目标过高；也不要目标过低，缺乏雄心；而是从可以约束问题、能让它工作起来的事情开始，然后进行扩展。

Manuvir Das: 你刚刚提到的这一点，我在你的一些采访中看到你多次谈到。你与公司开会时，他们有时认为AI会神奇地让他们成为更好的公司，改变他们在市场中的地位。而更好的做法是从具体用例开始，获得一些价值，然后再继续。那么，作为对那些刚刚起步的公司人员的建议，例如在NVIDIA，我们现在有几百个RAG聊天机器人在内部运行，用于不同目的，我们是自然发展起来的。对于现在刚开始的人，你会如何建议他们开始？因为公司内部兴趣很大，不会只有一两个，它们会在公司各处涌现。你认为他们应该先花时间思考如何统一进行，选择一种方式，还是你认为最好让他们自然涌现，看看会发生什么？

Brad Lightcap: 2023年的大部分时间，我常告诉团队我们不做销售，我们做“治疗”。通常会有C级别的人坐在我们的会议室里，会议开始五分钟后，他们就开始倾诉所有的问题和担忧，说“为我解决所有这些问题，我的董事会要求我下个季度推出点什么”。通常我们得稍微劝他们冷静下来，给他们倒点水，让他们平静下来。

我们的观点是，真正思考一下，在你的业务中，哪些地方在运营上感觉有机会改进？对很多人来说，这恰好是客户支持。这是我们听到最频繁的事情。没人喜欢自己的客户支持体验质量，他们在上面花了很多钱，但效果总是不尽如人意，这是他们收到客户投诉最多的事情。所以这恰好是一个相当普遍的起点。我们倾向于推荐一种多管齐下的方法：确定两三个你有真正棘手问题、但又可以约束问题的领域。支持就是一个由多个任务串联而成的工作流程，涉及不同程度的人力参与和大量数据，更多上下文会更有帮助。寻找这些核心要素：数据、流程和模型能力，然后找出第一个实施方案是什么，以及如何从中扩展。

我们推荐的另一件事是，回归ChatGPT产品本身，开始让你的团队能够访问这项技术。去年年中我们对此并不特别积极，但随着我们部署ChatGPT，有机会与使用它的公司交谈，民主化地提供工具访问权，仅仅给人们一个使用它的机会，不一定是非常复杂或开发的形式，只是让人们有机会说“我知道我必须做什么工作，我可以充分探索这个东西能做什么，然后找出如何在我的工作中找到价值”。这发生得非常自然，而且一直在发生。我认为公司有时忘记了，他们想要一个非常精心策划的AI战略，有一个大型的公司推广活动，他们想要这些专有的聊天机器人。我认为目前至少90%的价值仅仅来自于让人们访问这些工具，而不要想太多。

Manuvir Das: 这是一个公平的观点，因为当你第一次尝试时，其价值是如此明显，你愿意去克服困难。我认为这很重要。

那么，Brad，在这方面，与这些企业公司合作不同的用例，你们也推出了GPTs和现在的自定义模型，让人们很容易构建。你能向观众介绍一下那是什么，你们为什么走这条路，以及进展如何吗？

Brad Lightcap: 我试着在更广阔的战略图景中解释它。我们拥有GPT-4及后续模型中的核心智能。我们花了很多时间思考如何让人们使这项技术或这些模型感觉更个性化、更针对特定任务、提高它们在任意给定事物上的性能。过去几个月我们在GPTs和自定义模型方面的工作就是朝着这个方向努力的。

你可以把GPTs和自定义模型看作定制化光谱的两端。GPTs是极其简单、容易的方式，可以获取ChatGPT并基本上创建一个针对特定任务的ChatGPT切片。如果你想让ChatGPT记住某些信息，能够调用某些外部数据，访问PDF或电子表格，具有某种个性，能够以可预测、可重复的方式使用某些工具，你只需要描述它，甚至无需构建，它就会去执行。我们在企业中看到了巨大的需求，这并不奇怪，因为人们开始意识到这些是他们可以使用技术的工作流程，所以他们只需将每个流程编码成一个GPT，然后调用它。

自定义模型则是光谱的另一端，是“全套服务”。基本上是我们获取GPT-4或任何其他模型，并完全尝试为其定制特定用例，最大化其在该用例中的性能。我们以更有限的方式进行，显然这对我们来说是时间和资源密集型的，但早期我们取得了巨大成功。我们仍在试验，但在许多领域都成功提高了模型的能力。

Manuvir Das: 这很吸引人，因为显然你们以非常庞大、能力强的模型开始了整个旅程，它在许多方面都出奇地好，而且还在变得更好。同时，如果我回顾过去一年，涌现了一个模型生态系统。它们可能不如你们OpenAI服务内部的模型能力强，但在某些方面它们正在变得更好，并且专精于某些事情。那么，你如何看待更大的模型变得更大，或者更小的模型？你认为两者在企业中都有作用吗？还是你认为只需要一个大型模型以多种不同方式使用？

Brad Lightcap: 我们认为都有作用。我思考企业AI部署的心智模型是尽可能贴近现代企业人力资本的构建方式。就像你不会想雇佣25，000个博士来运营你的公司，因为这对你的工作来说是大材小用，你可能只需要5个或10个。你也不会想把GPT-4或最新的模型用于每一个问题。你可能需要多样化的模型，它们在不同方面有专长，针对不同用例进行了微调。我怀疑随着时间的推移，模型会普遍变得更好，因此对它们进行迭代、微调、使其真正擅长任何特定事情的需求会减少一些。但你肯定不需要一个GPT-4级别的模型来解决某些问题。

因此，我们实际在做的事情之一是尝试找出方法，让人们能够更动态地为任何给定用例引入模型，从而更分散地分配智能。是的，我认为你有你的“实习生”级别模型，你的“中层经理”模型，你的“高级执行官”模型，你的“主题专家”模型。每种都有其位置，将是多样化的。

但这引出了一个有趣的问题，我相信观众也在想问你这个问题。如果在一个1到10的能力光谱上，你认为我们今天处于什么位置？是1/10，还是7/10？你怎么看？

Brad Lightcap: 关于我刚刚的评论，我想再补充一点。有趣的是，我们所做的事情以及我从部署技术的位置所面临的挑战是，你有了那种人力资本地图，并试图将人力资本映射到模型能力上。但不断变化的是模型能力，那个窗口每六个月移动一次。因此，六个月前是你的“实习生”模型，开始有点像你的“中层副总裁”模型，而那个“中层副总裁”模型开始有点像你的“高级总监”模型。这是一个有趣的现象。公司必须动态管理这一点，我认为总体上是件好事，是盈余。但我们花了很多时间与公司一起思考，对于任何给定的问题，我们投入了什么组合？随着模型能力提升，我们是否应该重新思考那个组合？

Manuvir Das: 你可以想象，这是一种新形式的IT，因为在每个公司，都需要有人来弄清楚所有这些事情，思考什么被使用。Brad，早些时候你谈到最初的采用和处理一些事情，这让我想起iPhone刚推出的时候，人们普遍认为它对消费者很酷，但公司很难采用，因为它缺乏这种那种控制，标准也不一样。现在听起来是不是很傻？

未来展望：从信息检索到推理代理

那么，让我们稍微过渡到“下一步是什么”。Brad，在与那些更先进的客户或在其旅程中走得更远的客户交谈时，我看到他们开始从信息检索过渡。归根结底，我所做的是拥有一些信息，并试图以某种方式搜索它。现在的问题是，我能否更多地使用这项技术作为“代理”，在我的公司中做事，运行流程，调用事物，让行动发生。你在与人们的互动中看到这一点了吗？你认为技术处于什么阶段？因为如果我有一个助手，我查看输出，有一个人在循环中。但如果我让它为我采取行动，我必须更信任它一些。你怎么看？

Brad Lightcap: 这就是我兴奋的地方。这在很多方面都是OpenAI如何看待这项技术的用途以及应该如何使用的。在某种程度上，我们对今天AI实施的许多工作方式感到有点好笑，因为它们是基于信息检索的，有点像世界上最糟糕的数据库，它们很慢，很贵，不是100%准确，虽然正在变得更好。但你为什么要把它们当作数据库或用于某种高精度检索呢？感觉是一种奇怪的使用方式。

我们真正兴奋的是看到这些系统演变为推理代理。如何实际利用模型从某物中提取信息、思考该信息、然后综合某种见解并根据该见解采取行动的核心能力？那里需要发生两件事：一是模型的推理能力必须提高，二是你必须赋予它某种行动能力，以便在世界上采取行动。

我认为接下来我们将看到这两波浪潮合并：我们怀疑推理是下一个领域，我们将看到模型在这个改进轴上真正加速。同时也要思考如何让模型能够处理多步骤问题。举个例子，在医疗保健领域，如果你能让模型查看医疗记录，它今天可以从中提取信息，进行非常基本的操作，也许可以总结信息，或者根据某种输入更新信息。但你能让它思考这些信息吗？如果它能思考这些信息，它能从中得出一些见解，从而可能为第二步或第三步提供信息吗？它可以帮助跟进患者，帮助诊断疾病，帮助开具处方订单，然后完成闭环，实际与患者讨论处方、何时何地取药、如何服用，并在几周后提醒他们应该服药。

这就是我们在多年基础上思考这些系统的方式。

Manuvir Das: 你认为这会实现是因为核心模型会变得更好，还是你会看到一种方法，有一个单独的模型或系统更专为推理而构建，以补充现有模型？

Brad Lightcap: 我认为今天的系统实际上已经相当不错了。如果你去GPT-4，要求它推理那个假设情况，并一步步解释它的思考过程，它会那样解释给你。所以行动路径对模型来说是已知的，现在问题只是它能否在行动路径的每一步识别出它应该去做的具体事情，以及它是否有访问权限去做那件事。

Manuvir Das: 听你这么说太好了，因为我们肯定看到这开始发生。显然，你们在OpenAI对模型的工作越多，对每个人都越好。

那么，Brad，从你的角度来看，如果我们退一步，思考未来一年、三年和五年。在这些时间框架内，你认为什么是大事，是你们正在努力、能真正改变人们使用技术方式的重大转变？

Brad Lightcap: 我不能说那些我不能说的事情。但我认为，我们不认为我们在核心模型能力改进方面接近任何天花板。我们认为未来的扩展还有很大空间。我们对此感到非常兴奋。我们正在尝试理解如何沿着不仅仅是原始IQ的轴移动模型，我们认为这项工作进展顺利。从我所在的位置看，还有我们早先提到的问题：世界开始为这些系统在生产环境和部署环境中变得有用而配置所需信息的标准、框架和工具将是什么？因此，一部分是构建这个东西，另一部分是确保我们有一个地方和一种方式来部署技术，使其在生产中真正有用。

Manuvir Das: 这绝对是一个不公平的问题，我认为你处理得很好。让我换个方式问你。显然，作为一个公司，你们可以专注于整体改进技术，就像你们正在做的那样；也可以专注于企业客户、世界上的产业、世界的商业，那里有很多机会。那么，你的心态和重点是什么？你是否觉得你的使命是将其普及到世界上所有的企业公司，帮助他们达到更好的点？还是你更专注于个人消费者用例，因为显然这对世界也有很大好处？

Brad Lightcap: 我们的使命确实是确保这项技术的好处得到广泛分配。那么我们如何考虑实施这一点？一是确保人们能够在它之上进行构建，出于我早先提到的关于世界有多大、多混乱的原因，我们无论如何都需要这样做。我认为界面会改变，抽象层会改变，但其核心是我们将尝试构建方法，让人们无论想在何处都能有效、成功地使用这些工具。我们的联合创始人Greg Brockman有一个很好的说法：如何思考一个AI像被“烘焙”进经济中的世界？“烘焙”部分的意思是，当你分解那意味着什么时，你可能需要混合所有这些成分，然后让它静置，它就开始工作了。我们也经常这样思考：如何实际将技术和其他成分置于合适的位置，一旦它们混合起来，事情就开始以不同的方式运作。这就是我们花很多时间试图实现使命的方式。

显然，从消费者角度来看，我们类似地看待它。ChatGPT只是我们API之上的一个抽象。我们只是拿了一个模型，让它更擅长与人交谈，然后提供服务。它只是人们访问它的另一种方式，不是通过API。

回顾与展望

Manuvir Das: Brad，我想大概是在2022年11月30日左右，你们发布了ChatGPT。它肯定连你们都感到惊讶，发生了什么，兴趣的程度，采用的速度。我的意思是，这是一个新事物，人们立刻就明白了，因为它的影响是如此显而易见。所以我想知道，如果你为我们做一点回顾，已经一年多了，你的看法是什么？它在各方面都让你惊讶吗？如果你回顾过去，有没有什么事情本可以不同，有没有任何你会做出的不同选择？

Brad Lightcap: 可能更多GPU？我认为它确实让我们惊讶。我在这里更多代表我自己发言，而不是公司。我们实际上不认为GPT-3这类模型是那种在有用性上跨越了鸿沟的模型，无论是消费者应用还是企业应用。我们认为GPT-4会是第一个跨越那个鸿沟的模型。因此，我们的很多规划流程都围绕2023年3月GPT-4的发布展开，那是一年前。但我们在那之前几个月就完成了GPT-4的训练。是的，我们从22年中开始训练GPT-4。所以现在距离那个日期大约两年了。

是的，我们有点认为GPT-4会是那个时刻。我们不得不匆忙调整以适应大家比计划更早的需求，但看到这一切令人惊叹。我认为这说明了某些在任何情况下都适用的事情，无论你是企业、开发者还是个人：这项技术具有非常内在的人类特性，你可以把它交给一个5岁或95岁的人，他们都能找到使用这项技术的方法。它非常自然，我认为这真的很重要。因此，我们如何推动系统继续改进这种可访问性？其次，是能够降低访问门槛，确保世界各地的人们都能访问它。我们认为我们在ChatGPT上做得对的一件事就是让它免费。我们听到来自世界偏远地区的人们用它做我们做梦也想不到的事情。

Manuvir Das: 你提到的关于它如此人性化的观点，与NVIDIA非常接近。是的，我们做AI，但我们也有点像是图形公司。所以我们确实看到很多机会，首先，文本界面比编写代码人性化得多，还有音频界面、视觉界面，我们称之为“化身”，你基本上感觉像是在与另一个实体交谈。当然，最终还有其他AI将其转换为文本，然后进入常规的聊天界面。你认为这是这项技术真正扩大其覆盖范围、在全球范围内更容易让人与之互动的机会吗？你认为这应该是研究和进展的一个好领域吗？

Brad Lightcap: 是的，我认为今天出生的孩子，他们与计算机的关系对于这个房间里的任何人来说都是无法识别的。他们将不知道一个你必须导航图形用户界面、汉堡菜单、点击下拉选项、填写文本字段、点击提交、然后它给你发邮件、你必须去收件箱查看确认邮件是否已发送的世界。这些我们发现自己身处其中的糟糕情况，我很感激我们用现有的工具凑合，但我认为对于今天出生、10年、20年后的人来说，这将完全陌生。

这让我想起我有几个不同年龄的孩子，他们跨越了iPad时代。我记得我的大儿子们还小的时候，他们坐在我腿上，我像我们所有人一样在工作，他们按着键盘，试图通过按键参与其中。而当我女儿处于那个阶段时，她才两岁，她试图做的是用手在我的笔记本电脑屏幕上滑动，因为那是她知道的操作界面。她不知道键盘是怎么回事。所以我认为那些界面将会非常不同。10年后，给你的孩子一台2020年的笔记本电脑，看着他们对它说话等待回应却得不到，就会是那样。令人惊奇的是，你的公司，以及希望我们的公司，能够感觉到我们与此有关。

总结

Manuvir Das: Brad，我想我代表所有观众说，我们非常感激OpenAI所做的一切，迫不及待想看到你们接下来为世界做什么，我们会在这里关注。祝你个人和公司一切顺利。当然，在NVIDIA，我们随时准备以任何方式帮助你们。我会发短信给我的老板，看看能不能给你找些更多的GPU。好的，谢谢你的时间，Brad。

Brad Lightcap: 谢谢。

在本节课中，我们一起学习了OpenAI COO Brad Lightcap关于生成式AI在企业中应用的深刻见解。我们回顾了ChatGPT从消费级现象到企业级工具的演进，探讨了企业应如何从小规模、受约束的试点项目开始，逐步整合AI。我们了解了OpenAI的平台战略，即同时提供核心模型服务和赋能开发者的工具。对话还展望了AI从信息检索向“推理代理”发展的未来，强调了模型能力持续提升、界面更加自然化以及技术普及的重要性。最后，我们看到了对AI未来融入经济、改变人机交互方式的乐观展望。

009：使用NVIDIA Modulus加速多尺度化学反应器仿真

在本课程中，我们将学习如何使用NVIDIA Modulus平台，通过物理信息神经网络加速多尺度化学反应器的仿真。我们将从宏观背景出发，逐步深入到微观动力学模型和催化剂颗粒模型的构建，并展示PINNs方法在精度和速度上的显著优势。

概述：物理信息神经网络（PINNs）简介

物理信息神经网络位于物理学、数据和人工神经网络的交叉领域。物理学代表了基于第一性原理方程的传统仿真方法。数据用于捕捉复杂关系或整合传感器数据。人工神经网络则用于插值数据并预测目标变量，同时最小化一个结合了物理和数据驱动的损失函数。

因此，PINNs为基于物理的仿真提供了一种替代理论。传统数值方法是迭代式的且计算成本高昂，而PINNs的关键价值在于其训练方式能避免做出无意义的预测，这与传统机器学习方法形成对比。

项目背景：天然气制油（GTL）工艺

上一节我们介绍了PINNs的基本概念，本节中我们来看看驱动本项目的具体工业过程。

天然气制油工艺在现代碳氢化合物生产价值链中占据重要地位。该工艺允许利用不同于原油的碳源来合成可用作燃料或其他商品的碳氢化合物。这对于实现净排放战略尤为重要，因为除了天然气，GTL工艺还可以处理从空气、沼气或废物中捕获的碳。

壳牌公司是GTL市场的领导者，其首个商业工厂于1993年在宾图鲁投产，目前正在卡塔尔运营一个名为“珍珠”的先进GTL工厂。

在实践中，含碳材料首先经过预处理，转化为所谓的合成气，即一氧化碳和氢气的混合物。预处理完成后，就进入了本次演示的关键阶段——费托合成过程。这是一系列在化学反应器内发生的化学转化，合成气在此过程中被转化为合成碳氢化合物，如液态燃料或石蜡。

费托反应器的多尺度建模挑战

从上一张幻灯片可以明显看出，合成GTL产品的关键阶段是费托合成反应器。这是一个相对复杂的工业化学设备，需要利用多种不同理论来模拟其性能特征。

我们可以根据仿真发生的尺度对其进行分类，这些尺度是相互嵌套的。在最大尺度上，即整个化工厂的尺度，建模的最终目标是构建一个数字孪生体。一个物理上精确的数字孪生体需要考虑反应器内部以及相邻单元中所有不同长度和时间尺度的过程。

从数学角度看，模拟这样一个复杂系统需要多物理场和多尺度建模。多物理场是因为需要求解多孔介质中流动、传热和传质的输运方程。多尺度是因为反应器或单管宏观尺度的输运方程需要单个催化剂颗粒输运特性的信息，而这又需要催化剂表面化学转化的良好数学模型。

描述每个尺度的理论本质上是相互嵌套的。换句话说，我们需要先模拟更精细的尺度，才能模拟下一个尺度。在本演示中，我们将重点关注右侧的前两个尺度，即动力学模型和颗粒模型。

微观动力学模型

感谢Andrew为我们搭建了背景。大家好，我是Herschel Patel。我将为大家描述GTL反应器的微观动力学模型。

微观动力学模型简单来说是一组控制方程，描述了反应物转化为产物的速度，以及预期得到哪些产物。对于GTL反应器，发生的主要反应列在屏幕右侧，整体上称为费托合成模型。本质上，对于GTL反应器，氢气和一氧化碳是反应物，经过所有中间反应后，最终的预期产物是不同链长的烷烃和烯烃链。

现在让我们理解这些反应发生在哪里。在屏幕左上方展示了一张催化剂颗粒的图片。这是一种多孔物质，具有内置的孔隙结构。催化剂沉积在这种颗粒上，反应就发生在沉积的催化剂上。反应物到来并沉积在特定的催化剂表面，然后发生反应。对于反应发生，最重要的条件是它必须在催化剂颗粒上找到一个空位，这时反应才会开始。这就是任何反应最重要的标准——空位分数。

正如上一张幻灯片所述，反应发生的最重要因素是空催化剂位点的分数，记为 θ。对于费托合成，另一个重要因素是链增长概率，因为我们处理的是不同碳链长度的烷烃和烯烃。

如果将上一张幻灯片描述的方程组简化，最终会得到本幻灯片描述的系统。这是一个代数耦合非线性方程组，总共有 n+1 个方程，其中 n 是你想要建模的碳原子数。例如，如果你想建模总共100个碳原子，最终会有101个方程。其中100个方程用于表示链增长概率，与之耦合的还有一个表示空催化剂位点分数的方程。该系统的目标是找出 θ 和 α。系统的已知条件是反应发生时的温度以及一氧化碳、氢气和水的浓度/分压。

整体来看，这是一个求根或寻根问题。传统上，可以使用类似SciPy的求解器来找到该系统的根，在单核CPU上大约需要0.1秒。问题在于，这个寻根过程必须重复多次，对于实际的多尺度建模来说，时间会变得非常庞大。因此，开发PINN作为该模型的替代品，其目标基本上是双重的：我们将寻根方法加速几个数量级，同时基本保持相同的精度。我们使用NVIDIA Modulus来训练这个PINN。

数据驱动训练与物理信息训练的区别

现在让我们尝试理解数据驱动训练和物理信息训练之间的区别。

在数据驱动训练中，你有一个包含特征和标签的固定数据集。将特征输入神经网络，预测输出，然后将该输出与真实值进行比较，预测值与真实值之间的差异就成为训练该神经网络的损失函数。

相比之下，在物理信息训练中，没有任何固定数据。你从参数空间中随机采样。对于微观动力学模型，参数是模型的输入，即CO、H2、H2O的浓度/分压以及系统温度。使用这些随机样本，将它们输入神经网络，并尝试预测空催化剂位点的分数，这将是你的 θ_predicted。你已经有一个描述这个 θ 如何随输入变化的模型。利用该模型，定义预测的 θ 与模型给出的 θ 之间的差异，并使用该差异来训练这个神经网络。这就是你将物理信息注入神经网络的方式，它成为你的替代模型，以非常快的速度完成方程组所做的完全相同的工作，并且几乎具有相同的精度。

PINN模型的性能评估

让我们尝试评估PINN模型在精度和加速方面的性能。

在精度方面，表格描述了相对于使用传统方法获得的真实值的相对百分比误差，针对费托微观动力学中感兴趣的量。可以看到，我们达到了0.1%的中位数相对误差，所有数值都以百分比表示。在我们获得的加速下，这是一个绝对惊人的精度。

正如我在之前的幻灯片中提到的，如果在单核CPU上使用传统的SciPy求解器，单个解大约需要0.1秒。如果在同一CPU上使用PINN模型，随着批量大小的增加，将获得大约10倍到30倍的加速。锦上添花的是，如果使用NVIDIA V100 GPU，可以实现210倍到500倍的加速。这在0.1%的中位数相对误差下是惊人的加速。

PINN在优化反应条件中的应用案例

现在让我们尝试理解PINN在优化反应条件中的一个用例。

假设你有一个训练好的PINN模型可用，该模型将根据温度和压力的输入条件给出烯烃和烷烃的反应速率。如果你心中有一个特定的产率分布，这个产率分布可能是某些经济条件或供需冲击等的结果，你可以做的是在PINN之上运行一个优化器。这个优化器将找出输入条件，特别是温度和压力，以减少期望产率分布与费托合成过程给出的产率分布之间的差异。在这个过程中，整个思路是PINN本身将提供梯度，这对于优化器进行快速优化至关重要，这是拥有PINN作为替代模型的一个副产品。

扩散PINN模型

谢谢Herschel。我是Dimainni Colanca。在演示的最后部分，我想介绍我们为其开发了另一个物理信息神经网络的下一尺度。

其目标是模拟整个催化剂颗粒的性能，并提供构建反应器全尺度模型所需的量。正如我们已经看到的，先前介绍的SPINN已被证明可用作最微观或动力学尺度上传统代数方程求解器的替代品。

当然，通常我们现在可以直接使用那个已经训练好的神经网络来加速扩散和传热方程中源项的评估。然而，我们更进一步，训练了第二个物理信息神经网络。我们简称它为DPINN，字母D代表扩散，这是这里的关键传输过程。DPINN的目标是输出代表颗粒内温度和物质浓度径向分布的整个曲线。该预测的输入仅仅是颗粒外表面的反应条件。

让我们看看拥有这个额外的PINN为何有用。当它的预测完成，颗粒内部所有点的浓度和温度都已知时，我们可以直接将它们输入先前训练好的SPINN，并找出所有点的空催化剂位点分数。当这些量与颗粒中完整的温度和浓度分布相结合时，我们最终可以计算出所有费托产物的反应速率。

通过对所有这些速率求和，即在整个颗粒体积上积分，我们从而找到合成碳氢化合物的总产率，以及整个颗粒消耗反应物的总速率。所有这些都可以高效地计算，仅需要颗粒表面的条件作为输入。

当然，这个从边界条件开始到产生颗粒性能的整个工作流程，同样可以用于模拟反应器管中每个点发生的化学转化速率密度如何依赖于相应的局部物质浓度。而这正是从这里开始闭合反应器模型基本方程并构建全尺度反应器模型所需要的。

顺便提一下，这是一个很好的机会来对比我们的方法与许多现有反应器模型中使用的所谓经验源项法。这些经验方法实际上旨在近似与我们案例中相同的关系，但它是通过使用参数繁多的经验公式来实现的，其中的系数通常只是通过拟合实验数据找到。

相比之下，我们基于理论的自底向上建模所做的是，基于具有明确化学解释的微观模型提供总体关系，而不是通过经验拟合。同时，通过使用神经网络作为我们模型的核心组件，我们仍然保持相对较低的计算成本。这个成本仅略高于使用经验关系时的成本。

颗粒尺度PINN模型的性能

现在，由于这个基于PINN的颗粒尺度模型的某些方面仍是我们正在进行的工作，我们在此仅分享关键结果，不深入其实现细节。让我们只关注性能特征。

分析中，我们在这里看到箱线图，显示了颗粒中合成的碳氢化合物累积形成速率的相对误差。这些图是针对烯烃和烷烃的，它们是这两种碳氢化合物。我们还展示了颗粒消耗反应物的速率的相对误差，最后是颗粒温度分布的相对误差。我们看到所有这些误差通常都小于2%，这使得它们非常适合在反应模型中进一步使用。

最后但同样重要的是，在将物理信息神经网络用作催化剂颗粒建模的计算工具所带来的好处中，还有该模型与常规方程求解器相比实现的加速。具体来说，我们比较了在使用PINN或常规求解器时，在单核CPU上获得扩散和传热方程解所需的运行时间。

正如我们在这里看到的，基于PINN的方法本身允许几乎三个数量级的加速。在这两种情况下，所有方程中的源项都已经由SPINN加速，因此在绝对值上，这里显示的所有运行时间已经比完全不使用物理信息神经网络的情况要小得多。

如果使用GPU作为运行颗粒建模PINN的硬件，其加速甚至更高。在这里，我们在之前的基础上又获得了数量级的加速，从而展示了并行化PINN计算的便利性，这在传统数值方法的情况下并不容易实现。

总结

现在，让我们通过总结我们在这项研究中得出的一些关键发现来结束我们的演示。

我们主要证明了物理信息神经网络方法适用于化学反应器中发生过程的理论基础、多尺度、自底向上的建模。我们在微观尺度上证明了这一点，在那里我们训练了物理信息神经网络来近似微观动力学方程的解，并进一步在催化剂颗粒尺度上证明了这一点，该方法能够快速提供在给定颗粒表面条件下反应物的总体颗粒消耗速率。

我们进一步相信，这里展示的两种模型对于创建整个化学反应器模型，甚至可能在某些更大尺度上，都是有用的。

感谢大家对我们工作的关注，我们不仅乐于在直播聊天中回答您的问题，也欢迎您通过电子邮件联系我们。

010：CERN openlab 视角下的科学数字孪生

在本节课中，我们将学习数字孪生这一科学计算中的新兴概念，并了解欧洲核子研究中心如何通过其开放实验室，将这一技术应用于前沿物理研究及其他科学领域。

P10.1：引言与概述 🎤

欢迎来到GTC大会。今天的演讲主题是数字孪生，这是科学计算中的一个新概念。

数字孪生概念起源于2002年的一次SME会议，由Michael Grieves提出，此后已发展成为变革科学研究的强大工具。今天，将由Maria Girone为我们介绍CERN如何应用数字孪生技术。

感谢Maria的参与。她目前是CERN开放实验室的主任，此前曾担任CTO，领导了高性能计算、人工智能和技术架构领域的变革性项目。

P10.2：CERN及其计算挑战 🏛️

CERN是一个独特的工作场所，它是欧洲粒子物理实验室，也是当今世界上最大的实验室。

我们的目标是基础物理学研究，旨在理解宇宙的基本粒子和规律。我们通过研究物质的基本构成单元及其相互作用力，来回答诸如“宇宙由什么构成”、“生命如何起源”等根本性问题。

我们拥有一系列加速器，可以重现大爆炸后瞬间的条件。通过这种方式，我们从无限小的结构入手，获得对无限大宇宙的洞见。

进行基础物理研究需要在多个领域开发技术，主要集中在三个领域：加速器、探测器以及数据处理。高能物理是数据挖掘领域的领导者，我们目前已经是一个“极限规模”的科学项目。因此，计算对于处理、分析和筛选海量数据至关重要。

P10.3：大型强子对撞机与数据处理链 ⚛️

CERN目前的旗舰项目无疑是大型强子对撞机。它位于地下100米深处，周长27公里，是一个规模巨大的基础设施。

LHC有四个巨型探测器，它们如同相机，用于观测粒子碰撞的结果。数据处理是一项极具挑战性的任务。我们从每秒4000万次的碰撞开始，从这些“巨型相机”中读取数百万个电子信号，经过一系列筛选和过滤，记录下最有趣的数据。

我们每秒记录数千个事件，然后需要对其进行分析和重建。重建是指从探测器热信号和能量沉积中计算出物理对象的过程。在分析步骤中，我们将数据与模拟事件的假设进行比较。

如今，人工智能已应用于数据处理链的每一步：从在低延迟环境中的边缘设备上进行数据采集和初步过滤，到模拟、重建和分析。CERN是这一领域的先驱，很早就开始在分析中采用深度学习技术。

P10.4：未来升级与计算挑战 🚀

LHC已规划了一系列升级。我们目前正处于“第三轮运行”的第二年。迄今为止，我们仅收集了LHC计划交付总数据集的10%，因此对这台机器的开发利用尚处于早期阶段。

到2030年左右，LHC将进入“高亮度LHC”运行模式，以收集剩余90%的数据。这对物理学意义重大，因为它能为科学家提供更庞大的数据集，以进行更高精度的研究，并提高发现新物理现象的潜力。

然而，进入高亮度LHC模式也意味着我们需要有能力解析比以往更复杂的事件。例如，平均每次束流对撞的碰撞次数将从5次增加到200次。要解析如此复杂的事件，我们必须彻底改变现有的数据处理和分析方式。

因此，LHC的升级也带来了一系列新的计算挑战：加速器本身需要升级，探测器需要更换部分组件以应对更高的数据占用率，实验将改变筛选范式，人工智能在边缘计算和低延迟环境中的应用变得至关重要。

为了在有限的预算内满足资源需求，我们需要在代码现代化、采用高性能计算、使用硬件加速器、减少存储需求以及广泛应用人工智能等方面进行大量研发。

P10.5：CERN开放实验室与产业合作 🤝

面对这些挑战，与科学界和工业界合作至关重要。CERN开放实验室正是为此而设立，旨在促进这种合作。

CERN开放实验室有四个主要使命：

建立战略性的产业合作。
推动技术创新。
向科学家展示新技术。
培养年轻的STEM研究人员。

我们以三年为一个阶段进行合作。目前正处于第八阶段，主要目标包括：为CERN的未来挑战开发可持续和新兴的计算存储解决方案；利用异构计算和人工智能打造更绿色的未来；以及促进科学与工业界之间的协同和技术交流。

我们通过两个主要研发方向实现这些目标：可持续基础设施和新兴技术。数字孪生正是新兴技术领域的关键部分。

P10.6：InterTwin项目：统一的数字孪生引擎 🔬

我们在数字孪生领域的一个范例是欧盟委员会支持的InterTwin项目。该项目有三个主要目标：

共同设计和实现一个统一的、跨学科的数字孪生引擎原型。
使用开源平台和开放标准。
使其能够服务于从物理学到地球观测等广泛多样的用例。

该项目拥有约30个参与者，包括科学界、技术界和资源提供方的领导者。项目围绕一个统一的核心引擎概念展开，该引擎支持来自不同科学领域的数字孪生用例，并提供对资源的访问。

CERN以其在关键领域的专业知识参与其中，例如：

大规模AI工作流的编排引擎。
我们主导的联邦数据湖基础设施。
一个来自粒子物理学的具体用例：粒子探测器的数字孪生。

这个探测器数字孪生模型使用生成对抗网络进行快速模拟，以模拟探测器对相互作用粒子的响应，并与Geant4等现有工具进行比较。它集成了运行条件设置，旨在针对不同的运行条件，在探测器数据采集和配置层面提供实时响应。

除了粒子物理，InterTwin项目还支持气候和环境科学领域的用例，例如预测火灾、风暴、洪水和干旱等极端事件。我们还在与欧洲中期天气预报中心等机构合作，构建用于大气建模的大型基础模型。

通过这些实践，我们正在深入理解科学领域统一数字孪生的基本要求。

P10.7：与NVIDIA Omniverse的集成概念验证 🖥️

最后，我想分享一个近期与NVIDIA进行的Omniverse集成概念验证。

我们拥有非常庞大的基础设施，并广泛使用CAD模型。在这个概念验证中，我们证明了可以使用NVIDIA Omniverse来导航和可视化我们的装置，例如光束线，效果非常出色。

我们认为，这不仅可用于加速器和实验装置的协同可视化，还可用于探测器和加速器的组装模拟与集成测试、在狭窄或危险环境中的规划，以及机器人应用。我们也有兴趣探索将Omniverse作为模拟事件的可视化工具。

P10.8：展望未来与总结 🌟

展望未来，我们希望：

通过CERN开放实验室与NVIDIA合作，扩大当前的努力规模。
考虑将Omniverse集成到InterTwin项目中，作为所有科学用例（特别是环境科学部分）的可视化工具。
针对高亮度LHC和未来环形对撞机等未来计划，探索更丰富的Omniverse用例。

最后，我想强调技术多样性非常重要，并感谢所有为此努力的人们。

本节课总结：我们一起学习了数字孪生概念及其在CERN科学探索中的应用。从LHC的数据处理挑战，到CERN开放实验室的产业合作，再到InterTwin统一数字孪生引擎的具体实践以及与NVIDIA Omniverse的集成探索，我们看到了数字孪生技术如何帮助科学家更高效地理解复杂基础设施和科学过程，并为应对未来的科学挑战做好准备。

011：欧莱雅如何用生成式AI增强营销

在本节课中，我们将学习欧莱雅集团首席数字与营销官艾斯米塔·杜贝在NVIDIA GTC 2024大会上的分享。我们将了解这家拥有115年历史的全球美妆领导者如何利用生成式AI技术来增强营销、激发创意，并塑造美妆行业的未来。

概述：欧莱雅与美妆科技

欧莱雅集团是全球美妆行业的领导者，其使命是“创造打动世界的美丽”。集团的成功建立在六大支柱之上：研发创新、37个全球品牌的力量、数字与技术领导力、制造能力、广告与推广的良性循环，以及独特的企业文化与价值观。

创新是欧莱雅的DNA。集团通过科学、技术和创意三大支柱，不断在实体、数字和虚拟世界中重塑美妆体验。如今，生成式AI技术为创意与技术的融合开辟了新的前沿。

构建生成式AI战略框架

为了系统性地拥抱生成式AI技术，欧莱雅集团成立了专门的生成式AI工作组。这个工作组由伊莎贝尔·戈尼领导，其核心职责包括：

建立一个负责任的使用框架，制定明确的行为准则。
定义技术潜力并规划应用场景。
提升整个组织的相关技能。
建立一个能够预见并对整个组织产生更大影响的社区。

这个工作组与人力资源、研发、技术、数字和营销部门紧密合作，因为生成式AI的影响是多功能且触及组织各个部分的。

增强营销：四大应用领域

上一节我们介绍了欧莱雅的整体战略框架，本节中我们来看看生成式AI在营销领域的具体应用。欧莱雅正在探索“增强营销”，即利用生成式AI技术赋能营销的各个环节，主要集中在以下四个领域：

1. 内容创作

这是本次分享的重点。欧莱雅创建了名为“Cre.AI.Tech”的生成式AI美妆内容实验室，作为安全实验空间。在这里，他们为内容创作制定准则，汇聚技术和创意合作伙伴生态系统，并评估如何规模化地增强创意能力。

2. 服务

欧莱雅正在线上线下为美妆消费者带来新一代的美妆服务。

3. 客户关怀

通过利用意图检测和精准信息来增强客服人员的能力，从而提升客户满意度。欧莱雅正与Salesforce等合作伙伴在此领域进行试点。

4. 搜索

全新的搜索体验正在形成，美妆搜索也正在经历革新。

增强创意：Cre.AI.Tech实验室实践

在介绍了四大应用领域后，我们将深入探讨内容创作这一核心环节。欧莱雅认为，技术正在前所未有地激发创意，无论是文案、3D艺术家还是所有营销人员。因此，他们通过Cre.AI.Tech实验室来塑造美妆的未来。

美妆是一种深刻个人化又高度社会化的需求。它关乎自我认同与表达。基于此，欧莱雅制定了一项重要原则：不会使用AI生成的面孔、肌肤、身体或头发来增强其产品功效，或用于对外部呈现的美妆形象。但会将这些AI生成形象用于激发对新美妆符号的灵感、内部故事板构思等场景。

在过去的六个月中，欧莱雅与NVIDIA、WPP Open等合作伙伴合作，利用约20种不同的生成式AI技术，创建了超过800张美妆图像。以下是他们探索的一些方向：

构想新美妆符号：例如，通过提示词“未来主义浴室、智能镜子、AI界面、数据标签”生成连接智能镜子的体验图像；通过“护肤、网格图案、LED灯、时尚美妆”生成美妆科技图像。
规模化产品图制作：为旗下品牌生成数百张产品图。例如，为品牌“Carita”生成背景提示为“优雅的巴黎日落与埃菲尔铁塔背景、电影感灯光”的图片；为品牌“Biotherm”生成以“海洋蓝调、反射性水面、护肤之美、散落丝带”为提示的节日主题产品图。
展示成分与产品宇宙：例如，为活性成分“麦角硫因”生成以“紫色与蓝色灯光、抽象液体形态、黑色背景”为提示的图像；为“L‘Oréal Professionnel”发膜生成融合分子与产品宇宙的图像，提示词包括“金属液态球体、深棕色、金银色、优雅奢华氛围”。

通过这些实践，欧莱雅学到：强大的创意指导和富有想象力、包含强烈品牌信号的提示词至关重要。他们证实，可以利用现有技术规模化生产产品图和背景。此外，他们还开始实验图像到视频的生成、翻译和配音，并与NVIDIA Omniverse和WPP Open合作创建产品的定制3D模型。一旦拥有了产品多角度的3D模型，就可以轻松更换背景，这节省了数天的拍摄时间和大量资源。

赋能虚拟世界与创作者经济

除了传统营销内容，欧莱雅也关注虚拟世界和新兴的创作者经济。

虚拟形象造型：针对习惯于在游戏世界中提升自我表达的Z世代，欧莱雅旗下品牌“L’Oréal Professionnel”正在为游戏和虚拟世界共同创作发型发色。生成式AI工具有助于将主打的3D发型从一个平台适配到另一个平台。
携手新锐创作者：欧莱雅与超过5万名影响者和创作者合作，并开始与新一代“创意科技艺术家”合作。这些艺术家利用AR、空间计算、AI和3D工具重新定义美妆图像和体验，合作跨越Meta、TikTok、Snapchat等平台及包括中国在内的多个市场。

提升消费者服务：L‘Oréal Paris Beauty Genius

欧莱雅相信，技术能够突破可能性的边界，满足美妆需求的无限多样性，即“科技赋能，美妆个性化”。因此，他们通过提升美妆服务来赋能消费者。了解到70%的消费者面对海量美妆选择感到无所适从，欧莱雅推出了“L’Oréal Paris Beauty Genius”个人美妆顾问服务。

该服务基于欧莱雅收购的AR/AI提供商“Modiface”的技术，具备三大功能：

个性化诊断：提供皮肤个性化诊断或虚拟彩妆试妆。
个性化推荐：基于品牌旗下超过750款护肤、彩妆和护发产品进行推荐。
个性化教育：整合品牌官网和社交媒体内容进行知识普及。

这相当于为消费者提供了一个集服务、产品推荐和客户关怀于一体的美妆套件。

经验总结与未来展望

通过过去12个月在内容创作、服务、客户关怀和搜索等领域的“增强营销”实践，欧莱雅从效率（是否节省时间和资源）、有效性（是否改善上市速度、产量和质量）和价值（是否提升消费者互动、转化率和满意度）三个维度进行评估。

回顾增强创意之旅，欧莱雅于2023年4月启动，6月与WPP Open及NVIDIA Omniverse建立合作，7月建成Cre.AI.Tech实验室，随后进行了测试学习并产出了大量图像。展望未来，他们基于三大洞察规划下一步：

技术就绪度：不同技术的输出和输入能力发展不均，且新能力不断涌现。
技术模块化：构建多样化和模块化的生成式AI技术栈对大型企业有益，便于集成持续创新的技术。
数据价值：需要对品牌数据集和训练数据进行有效管理，以确保输出质量并满足知识产权方面的合规要求。

总结：人机协同，创造未来

本节课中我们一起学习了欧莱雅如何利用生成式AI增强美妆营销。总结而言，欧莱雅正在通过人机协同的方式，利用生成式AI创造打动世界的美丽。

技术正以前所未有的方式激发创意。欧莱雅集团已做好准备，一方面拥抱创意增强，另一方面实现内容自动化。作为领先的美妆科技玩家，欧莱雅坚信“美妆科技”将助力其实现“科技赋能，美妆个性化”的愿景。他们将持续利用技术、数据、AI和生成式AI的力量，创造新的美妆符号，并构建品牌与消费者之间全新的关系。

012：结合量子模型与机器学习加速药物发现

在本教程中，我们将学习如何利用基于量子力学的分子模拟模型来加速药物发现过程，并探讨如何在此框架内应用机器学习方法，以进一步解决这一内在复杂的问题。

概述：分子模拟与药物发现

在药物发现的背景下，分子模拟的核心是让原子系统在相互作用势下运动，并应用牛顿定律。这意味着，我们用来表示原子间相互作用的模型——即相互作用势——至关重要。任何模拟结果的质量都取决于这个模型的准确性。

在药物发现中，我们的目标是找到能与特定大分子靶标（例如蛋白质或RNA）结合的小分子。这种结合需要以抑制靶标功能的方式进行。在实践中，我们需要在靶标上找到一个可成药的结合口袋，然后模拟这个结合过程。由于这些系统的复杂性和动态特性，我们必须依赖高精度模型才能做出预测。

我们可以将这个过程比作太空探测器在崎岖的小行星表面着陆。然而，仅有高精度模型是不够的。我们还需要对靶标自身的构象进行广泛采样以找到可靶向的口袋，并对靶标与小分子的相对运动进行采样，以获得关于结合的重要见解。这意味着我们需要这些模型的高性能实现，以便在实用的药物发现框架中使用。

新一代分子模型

我们知道，要获得绝对精确的结果，需要对我们处理的分子的所有原子和电子进行量子描述，但对于有实际意义的系统来说，这在计算上过于昂贵。因此，我们需要做一些近似。

在过去的几十年里，人们通常使用两体成对模型来表示所有相互作用，尤其是静电相互作用。但在实践中，我们需要引入各向异性，以及系统对环境变化的某种响应，这通常是量子力学才能提供的。

为此，我们引入了分子电荷密度的多极描述，这提供了各向异性。同时，我们引入了多体极化来描述系统构象变化时的电子迁移率。

那么，这些更精确的模型能为我们带来哪些有价值的特性呢？以下是可能实现的一些方面：

首先，由于对所有（包括潜在的弱）相互作用的精确描述，我们可以处理复杂生物系统中微小、精细的能量差异。
其次，这使我们能够计算结合自由能，这对药物设计非常有用。
此外，由于包含了多体极化效应，我们可以模拟金属（包括过渡金属）以及在现代电池中起关键作用的离子液体。
最后，当与系统子部分的纯量子力学描述结合时，这种新一代模型能产生精确的液相光谱和复杂光谱。

高性能计算的重要性

请记住，在实践中，我们不仅需要高分辨率，还需要大规模采样。这就是高性能计算发挥作用的地方，也是我们过去几年的工作重点。

十年前，还没有真正高性能的可极化模型实现。处理此类模型的最流行代码仅通过OpenMP指令进行共享内存并行加速，这不足以解决实际问题。

因此，我们投入了大量时间和精力，从这个流行且设计良好的Tinker代码出发，开发了其高性能版本，我们称之为Tinker-HP。但由于解决这些更复杂方程所涉及算法的复杂性，我们必须重新思考代码的基本结构和架构，并设计特定的方法以实现可扩展的模拟。

在实践中，我们最初开发了一个基于MPI的、双精度的Fortran CPU实现，能够在足够大的系统上扩展到数万个核心，同时也能在较小的集群（如学术实验室中常见的集群）上扩展。因此，我们已为百亿亿次计算做好准备。

GPU加速实现

随着现代GPU（尤其是NVIDIA GPU）的出现，我们知道通过利用这些平台可以获得可观的性能提升。这就是为什么我们开发了Tinker-HP代码的特定版本，专门用于使用多个NVIDIA GPU。

我们有两种不同的GPU实现：

第一种实现完全依赖于OpenACC移植。OpenACC指令既用于在CPU主机和GPU设备之间传输数据，也用于在NVIDIA GPU上运行计算密集型内核。我们使用此实现来运行双精度模拟，充分利用V100和A100等HPC计算卡。
第二种实现仍然使用OpenACC指令处理GPU与主机之间的数据传输，但使用高度优化的CUDA内核来进一步提升性能。此实现用于分子动力学中的混合精度模式，即计算最密集的能量和力内核使用单精度，但数据随后以双精度累积，从而在性能和精度之间取得最佳平衡。

这两种实现的一个关键特性是，几乎所有操作都卸载到GPU上，从而限制了CPU和GPU之间的同步。此外，多GPU实现遵循与CPU版本相同的3D域分解逻辑，并确保通过CUDA-aware MPI库直接在GPU之间进行数据传输。

性能基准测试

以下是一些具有代表性尺寸系统的实际基准测试，从著名的DHFR基准（约2万多个原子）到更大的系统，如溶液中的SARS-CoV-2主要蛋白酶（约10万个原子），直至更大的数百万原子系统，如我们称为“C系统”（超过700万个原子）的系统。

所有这些基准测试均在法国的Jean Zay超级计算机和NVIDIA的Selene超级计算机上运行。总体而言，我们在所有这些系统上观察到了此类模型有史以来在GPU和CPU上获得的最佳性能。例如，对于DHFR系统，我们每天可获得超过14纳秒的模拟产量；对于超过100万个原子的STMV系统，每天超过4纳秒；对于之前提到的C系统，每天接近1纳秒。

我们看到，对于较小的系统，使用多个GPU并没有真正的增益，这是可以预期的，因为单个GPU已经包含了强大的计算能力。但随着系统规模增大，从大约20万个原子的系统开始，使用多个GPU就显示出优势，并且对于更大的系统有显著的性能提升。

总结一下Tinker-HP及其高效的多GPU实现：以我之前提到的约100万个原子的STMV系统为例，我们从原始的Tinker OpenMP实现到多GPU CUDA实现，实现了约6000倍的加速。这极大地拓展了新一代可极化模型的潜在应用领域。

核心应用：结合亲和力预测

现在我想重点介绍的一个主要应用，是在药物发现项目中预测小分子与大分子靶标的结合亲和力。选择一个明确的目标（例如蛋白质）后，目标是找到一种能以改变其功能的方式与之结合的小分子。

通常，制药公司依赖对已知化合物进行高通量筛选以获得初始命中分子，然后进行大量合成以优化这些命中分子。因此，在药物发现背景下，能够可靠地预测小分子与靶标之间的实际结合亲和力极具吸引力，因为数值模拟可以大幅减少需要合成的候选药物数量，从而减少此类项目的时间和资金投入。

在实践中，这意味着我们需要计算结合态（配体或小分子位于宿主结合口袋中）与非结合态（小分子和宿主均处于溶液中且彼此不相互作用）之间的自由能差。如今，常规使用的是所谓的“炼金术”方法。小分子首先通过逐步减弱其与宿主的相互作用而从宿主中解耦，然后我们以类似的方式分别计算配体从溶液中解耦的自由能。最后，由于自由能是状态函数，我们可以通过热力学循环恢复出我们感兴趣的结合自由能。

在实践中，这需要大量且长时间的分子动力学轨迹模拟，因此高性能代码至关重要。在过去的几年里，通过盲测挑战，许多具有代表性的宿主-客体系统基准测试得以运行。在这些挑战中，可极化的AMOEBA模型反复表现非常出色。结果显示，使用这种高精度模型计算出的结合亲和力与实验值在几乎全部案例中相差在1千卡/摩尔以内，这构成了最先进的性能水平。这表明新一代模型的高性能实现如何在药物发现项目中提供实际帮助。

回归模型：结合机器学习的潜力

现在让我们回到模型本身，正如我们所看到的，模型决定了所有分子模拟的质量。我们知道，即使使用先进的可极化模型，我们仍然缺乏一些在短程发生的关键量子效应。之前介绍的模型的另一个限制是它们本质上是非反应性的。

同时，我们现在拥有精心策划的量子力学数据集，这使得开发机器学习相互作用势成为可能。在这种势中，所有相互作用都用机器学习方法描述。总的来说，此类模型利用每个原子局部环境的短程描述符，然后将其输入另一个网络以预测能量。这意味着这些模型通常比可极化力场慢，但由于它们本质上是短程的，因此是可扩展的。

这些模型通过Deep-H平台在Tinker-HP中实现。这些模型在许多情况下表现良好，但设计上，它们通常缺乏长程效应，而这些效应的物理原理是众所周知的。例如，我们知道长程静电遵循库仑定律。这促使我们寻找方法，在短程结合机器学习方法，在长程结合基于物理的方法。

为此，我们遵循两种不同的路径：

第一种思路是使用类似于混合量子力学/分子力学方法中的嵌入方案，即感兴趣系统内的相互作用用机器学习势处理，其余相互作用用可极化力场处理。
第二种思路更为复杂。我们使用机器学习模型来预测原子属性（如电荷、体积等），这些属性将依赖于环境，然后我们在具有当前势能函数形式的经典框架中使用它们。我们称之为Phoenix方法。

Phoenix方法的一个非常好的特性是它是反应性的。现在，让我们看看用这两种方法获得的实际结果。在结合亲和力结果中，我们看到通过在短程包含机器学习模型，我们成功改善了整体结果，特别是对于一些系统。均方根误差从1.81千卡/摩尔降低到略低于1千卡/摩尔，误差减少了约一半。

最后，一个展示Phoenix方法反应性的结果：这里有几个解离曲线，我们让分子中的一个原子离开平衡位置。我们有三个分子：CCl₄、水和HCl。我们可以看到，单独的ANI-2x模型给出了非物理的结果，而Phoenix的结果更接近虚线所示的参考值。

我们目前正在积极致力于通过纳入额外的能量项（如显式极化和电荷转移）来丰富Phoenix模型。Phoenix方法非常有前途，因为它自然地利用了机器学习方法的优势来处理短程的复杂相互作用，以及基于物理的长程相互作用的可迁移性。

总结与展望

总而言之，我相信，随着计算能力的不断增强和量子力学数据集的日益丰富，这些方法将为药物发现带来关键性的额外见解。例如，Phoenix的反应性质将使我们能够有效地解决共价抑制剂的问题。

在本节课中，我们一起学习了如何通过结合基于量子力学的可极化模型与高性能计算来加速药物发现中的分子模拟。我们探讨了Tinker-HP代码在CPU和GPU上的高性能实现及其带来的巨大性能提升。接着，我们深入了解了其在预测小分子-靶标结合亲和力这一核心药物设计问题上的成功应用。最后，我们展望了通过结合机器学习方法（如Phoenix）来进一步提升模型精度和反应性的未来方向。这些进展共同为更快速、更精准的药物研发开辟了新的道路。

013：Mistral AI - 将前沿AI置于掌中 🚀

在本节课中，我们将跟随Mistral AI的CEO Arthur Mensch，回顾过去几年大语言模型的发展历程，并深入了解Mistral AI如何通过模型压缩和高效训练，将强大的AI助手部署到个人设备上。我们将探讨从“越大越好”到“小而精”的范式转变背后的科学原理。

开场与介绍

现在开始我们的会议。会议最后将留出一些时间进行提问。

欢迎通过移动应用程序、会议目录提交问题，或者在会议结束时到过道的麦克风前提问。

有请Arthur Mensch。Arthur是Mistral AI的首席执行官，该公司致力于训练最先进的生成式模型，并特别强调模型的定制化和可控性。今天他将与我们分享训练其首批模型（Mistral和Mixtral）过程中获得的经验，并展望未来一年的发展。欢迎Arthur。

下午好，各位。我是Mistral AI的CEO，我将简要概述我们迄今为止的成果以及我们的发展历程。

在正式介绍公司、我们的差异化优势以及我们计划构建和已经构建的模型之前，我想先谈谈我对过去两年语言模型发展的看法，以及它是如何从2019年的GPT-3演变到今天我们所处的状态——基本上是可以部署在笔记本电脑上的助手。我将尝试解释我是如何看待这一过程的，因为我认为这是一个非常有趣的故事。

模型性能与规模的演变趋势

那么，如果你观察什么样的LLM能够成为一个有用的助手，作为一个科学家，你可以说它需要在MMLU基准测试上高于60%。通常低于这个水平，模型就不够有用，甚至有些令人沮丧。超过这个水平，你开始感觉像是在与一个足够好、足够聪明的助手或伙伴互动。

如果你试图观察达到这种性能的模型规模，在2019年，GPT-3实际上并没有达到60%的MMLU，但它已经足够接近了。2020年我在DeepMind时，我们发表了一篇名为Gopher的论文，模型更大，并且确实达到了60% MMLU的门槛。然后，在2020年，整个领域似乎都在追求构建越来越大的模型，随之而来的是所有相关的基础设施挑战。你必须进行各种维度的并行化。我记得当时NVIDIA发布了一个5300亿参数的模型。

然而，到了2022年，同样的性能由一个小得多的模型实现了。我将解释我们是如何做到这一点的。

当时在DeepMind，我认为我们意识到并不需要构建非常大的模型，这可能不是一个好主意。如果你观察2022年发生的事情，GPT-3.5出现了，我认为这与Chinchilla论文修正了缩放定律密切相关。

然后，在2023年，我们沿着这个方向继续前进，出现了Meta的Llama和Llama 2。当时，Mistral的许多同事也参与其中。在那个时候，你会看到一些问号，这基本上意味着该领域进入了一种不透明的状态，不同提供商使用的技术变得不透明。这在一定程度上催生了Mistral AI，也是我们创建它的原因。

我们关注的重点是尝试达到一个目标：在Mistral成立之初，我们的目标是让一个能在笔记本电脑上运行的模型达到60%的MMLU。这就是我们如何得到Mistral 7B的。有趣的是，在第一个达到该性能的模型Gopher和Mistral 7B之间，存在大约40倍的规模差距。

这就是我们起步的前提。我认为，我将解释为什么我相信这为许多有趣的应用开辟了道路。这张幻灯片可能有些偏颇，因为它以Mistral 7B和Mixtral 8x7B结尾，但其中确实存在一个趋势。我将尝试从科学角度解释这一切是如何发生的。

缩放定律的演进：从Chinchilla到高效训练

在2020年，趋势是让模型无限大。我认为其起点是Kaplan等人在2020年发表的一篇论文，该论文得出结论：如果你有10倍的训练预算（例如，从训练集群运行一周增加到十周），那么你应该将模型规模增加5倍，数据量增加2倍。事实证明，你在训练上花费的计算量基本上是这两个因素的乘积，即模型大小和数据量。Kaplan的结论是，如果你趋向于无限，你需要一个无限大的模型，并在多得多的数据量上进行训练。

这个前提在某种程度上推动了整个领域在相同的3000亿token数据量上训练越来越大的模型，持续了大约两年。这实际上在某种程度上减缓了该领域的发展，因为在某个时间点，如果你只在3000亿token上训练模型，你会开始饱和，因为你没有看到足够的token，并开始对数据集过拟合。我们在2021年底开始注意到这个问题。

解决这个问题的方法是你需要在超过3000亿token的数据上训练。我们当时处理这个问题的方法是：你有一个特定的计算预算。计算预算是参数数量乘以数据点数量。那么，你如何在扩展计算、扩展模型规模和扩展数据量之间做出适当的权衡呢？

事实证明（这个见解现在看来很明显，但当时并非如此），如果你有10倍的训练预算，你应该将模型规模乘以√10，数据量也乘以√10。这实际上是唯一一个当你趋向无限时不会爆炸的设置。这基本上告诉你，如果你有无限的计算资源，你应该以相同的速度扩展模型规模（即你的表示能力）和你用于训练的数据点数量。

这意味着你的压缩因子应该保持相对恒定。事实证明，最优压缩因子大约是每个参数对应30个token。所以，无论你做什么，如果你有一个固定的计算预算（这也取决于数据质量），你需要在每个参数大约30个token的条件下运行。这是一个很好的见解。

但不知何故，它也误导了领域，让每个人都开始认为模型应该是“Chinchilla最优”的。我想这个词是在Twitter上创造的。但问题是，如果你用一个70亿参数的模型追求Chinchilla最优，你基本上只在2000亿token上训练。最终得到的模型在MMLU上表现平平，根本不起作用。所以，对于想要在笔记本电脑上运行的模型来说，追求训练计算最优并不是一个好主意。

我认为大约八个月后，Llama论文和Llama for Meta的出现，向世界展示了（尽管有些人早就知道）如果你想让模型更小，你可能需要训练得更久。Llama 7B可能是第一个表现尚可、性能良好的70亿参数模型。其原因在于，它的训练量大约是Chinchilla所倡导的计算最优方案的三倍。

我想这说明的是，如果你有10倍的训练预算，你应该考虑你的推理预算。当你在架构上做出选择时，如果只考虑训练预算，那么你应该训练一个大约每个参数对应30-32个token的模型。但如果你考虑到你将在许多GPU上部署你的模型，你应该尝试让你的模型更小。因此，在训练期间，你看到的token越多，对于相同的性能水平，模型就可以越小。你投入一些计算训练时间来更彻底地训练你的模型。我认为这是我们用来达到Mistral 7B的秘诀的一部分。

模型压缩的成本与收益

从这个意义上说，我认为考虑这种图表是有用的，它将模型大小与你应该应用的训练计算量（FLOPs）进行比较。在这里，你看到的每条等高线基本上代表了具有相同损失的模型，而损失是性能的指标。我们当时所称的“Chinchilla最优”模型，基本上是切线为水平线的点。

但如果你说，好吧，我有这个模型，但我想让它更小。所以我希望我的模型达到与红点相同的损失，但规模要更小。你将需要支付越来越多的计算成本。当你沿着纵轴向上移动时，你支付了更多的计算成本，向云提供商支付了更多费用，或者购买了更多GPU。最终，在这里你可以实现非常显著的改进：你可以从大约1000亿参数的模型，压缩到大约100亿参数的模型。

这就是压缩的成本。我认为这是一个非常有趣的现象，并且它是非常可预测的，你可以通过经验测量它。我认为这是一张非常重要的图表，因为它基本上设定了这个时期的经济学：你需要投入一定量的计算来达到特定的压缩水平。当你运营一家生成式AI公司时，这正是你应该优化的目标。

对于在场的数学家来说，这里的损失基本上由一个你无法低于的项（称为文本的自然熵）定义，然后还有两项。一项取决于模型的大小：模型越大，表示能力越强，因此你可以通过增加表示能力来降低损失。但你需要付出一些代价，这与随机梯度下降有关，这基本上是一个依赖于token数量的随机噪声项。

这两件事告诉你，要降低损失，你可以增加权重（模型规模），或者增加token数量。仅仅通过绘制这种损失图，你最终就会得到这样的图表。正是这个图表决定了你在训练期间应该做出的选择。

Mistral AI的实践与成果

那么，如果你将其付诸实践，这正是我们在6月份创立公司时所做的事情。

最终，你得到的模型可以比Llama 2 7B好得多。这就是我们如何得到Mistral 7B的。我们尽可能地推动了压缩，最终得到了一个在当时性能超过Llama 2 13B的模型。

然后我们沿着这个方向继续前进，在12月得到了一个名为Mixtral的模型，它只有120亿个活跃参数，却拥有与Llama 2 70B相同的性能。通过推动这种压缩并改变架构，我们比现有技术水平提升了5倍。当你获得5倍的提升时，这非常酷，因为你可以在笔记本电脑上部署它，并且基本上可以运行5倍多的实例。这是一个必须考虑的重要因素。这也解释了我们在2023年观察到的各个公司的动向。

这就是我们所做的。这是我们创立公司时的观察结果。我们希望高效，并且希望开源。因此，我们在6月发布了Mistral 7B，在12月发布了Mixtral 8x7B。今天我们继续在开源前沿取得进展，构建越来越好的模型。我们也围绕此推出了我们称之为优化模型的商业模型，以及一个服务于它们的平台。

Mistral AI的平台与使命

这个平台与许多人正在做的非常相似，不同之处在于我们提供了一个可移植、可透明部署的平台。这意味着我们可以将平台和模型权重带给客户，让他们进行修改和微调。我们已经与云提供商以及NVIDIA建立了各种战略合作伙伴关系（Jensen在周一宣布了这一点）。

我认为，我们的使命是将AI带给每个人。让它足够小，以便在笔记本电脑上运行；让它足够好，以达到最佳推理性能；同时让它足够便携，以便企业和开发人员可以在他们习惯的环境中工作——无论是在云端、平台上、私有云还是本地部署（如果需要的话）。通常，处理生成式AI时，你会在专有数据上工作，因此涉及许多合规性方面，这促使我们构建了一个可移植的平台。

模型系列与能力

因此，我们为所有这些情况和业务需求提供了大约五种模型：Mistral 7B、Mixtral，我们还有一个小模型，其性能实际上优于Mixtral且延迟更低。我们还有Mistral Large，目前在推理能力方面属于顶级模型之一。

除了我们在12月之前所做的科学努力之外，我们还开始致力于为模型添加新能力。它现在是多语言的。它具备函数调用能力，这在当今的应用程序中非常重要，当你构建代理或让模型与数据库、工具交互时。我们有一个JSON模式，可以强制模型输出可用于调用API的内容。我们还针对我们称之为“用例”进行了优化，例如优化模型以思考整个上下文长度。

我们在12月还发布了一个嵌入模型，它曾经是最先进的，现在仍然非常先进。这是一个比大语言模型发展更快的领域。

性能、延迟与优化重点

是的，所有这些都可以通过我们的平台获得，并且正逐步通过一系列合作伙伴提供。现在也可以在 ai.nvidia.com 上找到。

在性能方面，我们一直在进行优化，包括针对Mistral Large的延迟和模型容量，使其在保持一定性能水平的同时足够小。因此，今天Mistral Large与其他模型相比具有相当低的延迟。我们将继续将这种压缩理念带入我们的技术中，因为我们认为这是构建复杂应用的途径。

延迟之所以重要，是因为一旦你达到某个延迟水平（通过更好的硬件和模型），你就可以不再考虑AI如何在后台运行。你可以拥有一个能够自行思考的系统，其速度足以创造具有良好用户体验的应用程序。这确实是我们优化的重点。

隐私、安全与可控性

我们针对隐私进行了优化，正如我所说，我们不追踪你的输入。我们针对安全进行了优化。自定义部署和VPC部署基本上是你能获得的最安全的部署方式。我们针对护栏进行了优化，你可以根据特定用例定义什么是合适的，基本上可以在提示中设置你需要的护栏，我们确保这些护栏得到遵守。

因为我们精心策划了数据，我们在偏见控制方面非常严格，我们的模型在性别、宗教、政治、种族偏见等方面实际上表现出顶级的控制性能。

未来展望与总结

我想，这些基本上就是我们的核心主张。我们打算在开源领域成为领导者。因此，我们目前正在发布最好的开源模型，并且我们打算在未来几个月继续这样做。我们会有更好的模型问世，会有新的能力出现。多语言性对我们来说非常重要，我们正在推进这方面的工作。

正如我所说，保持开放并拥有非常强大的开源模型，也是为了让我们的客户能够修改模型并根据他们的用例进行微调，从而获得更好的性能，使模型能够适应并随着时间的推移变得更好。这也是我们平台即将推出的功能，我们将把我们在AI方面的专业知识带入其中，目的是降低模型微调的门槛。这很快就会到来，虽然没有宣布具体日期。

本节课中，我们一起回顾了大语言模型从追求规模到追求效率的演变历程。我们深入探讨了缩放定律、模型压缩的成本与收益，以及Mistral AI如何通过科学的方法（如优化训练数据量与模型规模的比例）将前沿AI模型的性能压缩到可在个人设备上运行的程度。我们了解了Mistral AI的模型系列、其平台对隐私、安全和可控性的重视，以及其推动开源和模型定制化的未来愿景。核心在于，通过高效的训练和架构创新，强大的AI助手正变得无处不在。

014：AI的高速革命与人类影响管理

在本节课中，我们将一起学习英伟达GTC 2024大会上，斯坦福大学教授李飞飞与英伟达首席科学家比尔·戴利的一场炉边对话。我们将探讨AI的深远影响、潜在风险、公共部门的作用以及人类在AI时代的独特价值。

嘉宾介绍

首先，我们来认识一下两位杰出的对话嘉宾。

以下是他们的主要背景与成就：

比尔·戴利：于2009年加入英伟达担任首席科学家。此前在斯坦福大学任职12年，并曾担任计算机科学系主任。他与斯坦福团队开发的系统架构、网络架构、信令、路由和同步技术，被广泛应用于当今大多数大型并行计算机中。
李飞飞：斯坦福大学计算机科学系红杉教授，斯坦福以人为本人工智能研究所联合主任。她于2013年至2018年担任斯坦福人工智能实验室主任。在2017年1月至2018年9月的学术休假期间，她曾担任谷歌副总裁及谷歌云AI/ML首席科学家。她的研究兴趣包括认知启发AI、机器学习、深度学习、计算机视觉、机器人学习以及医疗AI。她是ImageNet和ImageNet挑战赛的发起人，这一大规模数据集和基准测试工作对深度学习和AI的最新发展起到了关键推动作用。此外，她也是倡导STEM和AI领域多样性的全国性领军人物，并共同创立了非营利组织“AI4ALL”。

AI对人类的影响

上一节我们介绍了两位嘉宾，本节中我们来看看李飞飞教授如何看待AI对人类的影响。

李飞飞认为，AI或许是21世纪最具深远影响的技术，它正在从根本上改变“我们是谁、我们做什么以及我们能成为什么”。AI是一门关于智能的技术。在此之前，人类的技术发明大多停留在不涉及智能的层面，无论是制造工具以更快移动、飞得更高，还是拉动重物，都更偏向机械层面。而AI的出现，挑战了定义人类的基本能力，如阅读语言、理解书籍、翻译、决策、识别模式、绘画等。因此，AI的影响在于深刻地改变了人类的能力与本质。

当被问及AI是否在某些领域（如医疗、教育、交通）影响更大时，李飞飞指出AI的影响是水平化的。即使在多年前，商业分析已是AI的巨大应用领域。如今，医疗保健、交通、教育、软件工程等领域，AI的影响确实是无边界的。

AI的风险与挑战

了解了AI的广泛影响后，我们不可避免地需要关注其带来的风险。本节将探讨AI可能存在的威胁。

针对像埃隆·马斯克和萨姆·奥特曼等人提出的AI可能对人类构成生存威胁的观点，李飞飞认为这是一个值得思考的长期智力问题。但她更关注更直接、更紧迫的灾难性风险，这些风险大多具有社会性。

以下是几种她提到的具体风险：

对民主的影响：由于错误信息和虚假信息传播。
对工作的影响：包括职位替代或劳动力市场格局的转变。
对数据关系的影响：涉及隐私、公平性等问题。

她强调，如果我们不能妥善管理这项技术的应用，这些都可能成为灾难性的社会风险。

李飞飞的著作与愿景

在讨论了风险之后，让我们换个角度，看看李飞飞教授如何通过她的著作描绘AI的发展历程与未来愿景。

李飞飞最近撰写了一本科学回忆录。这本书采用双螺旋结构，一方面讲述了AI，特别是通过她作为计算机视觉科学家的视角所看到的AI成熟过程；另一方面也交织了她个人作为一名年轻科学家的成长旅程。她最初只写了关于AI的部分，但在朋友的建议下，她重写了书的结构，旨在为那些在AI领域通常没有声音或认同感的人群（如移民、年轻女性等）发声。

当被问及如果十年后为这本书写续集会是什么样子时，李飞飞表示，她希望写一个关于人类如何利用这项技术让生活和工作变得更美好的、人类凯旋的故事。她相信，如果我们能以正确的方式使用技术，人类文明的弧线终将趋向正义、希望和仁慈。她举例说明了AI在医疗（从药物发现到个性化治疗）、教育（深度个性化学习）和科学发现（加速研究进程）等领域带来的希望之光。她认为，集体责任在于共同努力，创造我们想要的未来。

公共部门AI与资源分配

从个人愿景回到现实挑战，一个关键问题是资源分配。本节将探讨公共部门在AI发展中的作用及其面临的资源困境。

李飞飞一直倡导为学术界提供资源以进行AI研究。目前，训练模型所需的GPU和数据资源主要集中在资金雄厚的大公司手中。她认为，当前公共部门与私营部门之间的资源平衡严重失调，例如美国没有一所大学能够训练一个像ChatGPT这样的模型。

她强调，公共部门生产公共产品，这至关重要：

好奇心与知识驱动的发现和创新：当今AI的一切都始于好奇驱动的学术研究。
作为公众可信赖的伙伴：解释、教育和评估技术，研究安全性、透明度、数据偏见等问题。
培养人才：教育未来不仅懂技术、更懂AI伦理和社会影响的负责任劳动力。

为了支持公共部门AI，李飞飞参与了倡导活动，推动联邦政府考虑增加对公共部门AI的资源投入，特别是计算资源和数据资源，这促成了目前仍在国会审议的《CREATE AI Act》法案。

吸引人才与公私合作

资源问题也引出了人才问题。在AI人才市场竞争激烈、薪酬高昂的背景下，如何吸引优秀人才进入公共部门？

李飞飞承认，更多学生进入私营部门将是常态。但对于那些梦想留在公共部门或学术界的人，提供资源支持至关重要。他们追求的并非英伟达级别的薪酬，而是能够开展研究的计算资源（例如几百个GPU）、一个人才不会持续流失的社区，以及私营部门与公共部门的合作伙伴关系。同时，公共部门机构自身也需要创新，以适应快速变化的行业和人才格局。

关于美国国家AI研究资源（NAIRR）试点项目（由英伟达、微软等公司捐赠资源启动），李飞飞认为这是一个积极的尝试，但规模太小了，相对于公共部门利用计算资源进行大型模型研究和数据应用的潜力来说，这只是沧海一粟，各方仍需努力。

AI在政府与科学中的应用

那么，AI在公共部门的具体应用场景有哪些呢？本节将探讨AI在政府服务和科学研究中的角色。

李飞飞指出，政府在AI方面的角色既是服务提供者，也是治理者。在服务方面，AI可以帮助政府现代化其服务，使其更高效、更有效，例如在国税局、环保署等机构，AI可以用于优化联系中心、个性化帮助、欺诈检测、案件优先级排序等，就像改善退伍军人事务部的服务一样。

在科学研究方面，李飞飞认为这是最令人兴奋的领域之一。AI作为辅助科学发现的新工具，是本世纪的机遇。在斯坦福校园里，从神经科学、材料科学到航空航天、肿瘤学、化学等各个领域，研究人员都对AI能加速他们的发现过程感到兴奋。她强调，大学应该加倍、三倍地投入科学发现，这是公共部门的重要机会。

医疗AI的未来

在众多科学应用中，医疗是李飞飞特别关注的领域。她认为AI在医学中的应用可能是最深刻、最广泛的。

她个人主要专注于医疗保健的最下游——医疗服务提供。这是一个存在安全问题、劳动力短缺、市场不平衡且充满人类苦难的领域。她看到的机会是，AI可以成为“守护天使”或辅助性的守护天使。例如，她在斯坦福医院的工作是在病房中部署被动的、非侵入性的、保护隐私的传感器，帮助医院监测重要的临床相关事件，如患者跌倒风险、病情突然恶化、临床医生手部卫生不当等。这些事件目前处于医疗的“黑暗空间”，而AI作为一种智能传感器，可以帮助照亮这个空间。

此外，AI技术还可以进入家庭，帮助老年人、慢性病患者在独居时保持尊严、独立和自尊，在不侵入个人空间的情况下保持与护理人员或家人的沟通。这是她充满热情的工作领域。

AI技术的未来方向

展望未来，AI技术本身将如何演进？从早期的ImageNet、CNN、RNN到Transformer，下一步会是什么？

李飞飞坦言无法预测下一个具体模型名称，但她相信数据缩放定律尚未结束。对于多模态的世界数据，利用支持这一点的模型架构，她将继续看好其发展。同时，她也认为需要结合结构化建模或由更多3D意识引导的模型。世界的结构（视觉本质上是3D的，加上时间则是4D）比语言（本质上是1D的）丰富和复杂得多。将结构化建模与大数据结合起来，才能真正创造出目前仍缺乏的空间智能和世界模型。

她预见面向世界的基础模型将会出现。与这些模型的交互不一定只是提问（这是以语言为中心的方式），还可以进行互动。她提醒我们，自然界花了5.4亿年创造感知大脑，而创造语言大脑只花了几十万年，因此感知是极其深刻的。

人类在AI时代的独特角色

随着AI能力的不断增强，一个核心问题浮现：人类有哪些工作是AI永远无法替代的？

李飞飞认为，如果“工作”被定义为一项任务（如抓取物品、煎蛋卷），那么机器将能够完成。但如果“工作”是作为人类的一部分，是定义我们的创造力、独特性、意图、同情心、与他人独特的情感联系以及每个人对社会独特贡献的部分，那么这将永远不会被完全取代。我们将使用机器来帮助我们更好地完成这类工作，但不会发生根本性的替代。

她以医疗护理为例，人类照顾人类、人类需要人类照顾的关系和互动是如此深刻，任何机器人、AI、计算机或AR/VR都无法完全取代。教师与儿童、父母与孩子之间也是如此。人类互动中有太多超越计算、机械的部分，这类工作将保留并进化，由机器赋予更多超能力，但人类的核心不会被取代。

即使我们训练AI模型使其具备关怀和情感连接的特性，李飞飞认为，像爱因斯坦、贝多芬、莎士比亚、梵高那种独特的创造力，以及每个独特个体的不可预测性，是机器无法复制的。人类的尊严和人性是我们核心所在，也是我们如何构建机器应用、使用机器的出发点。

生成式AI与内容创作

生成式AI，如OpenAI的Sora，已经能够根据提示生成高质量视频。未来，是否只需几句提示就能生成两小时长的电影？

李飞飞认为，这部分技术很快就会实现，生成更长形式的世界、故事情节和角色互动已近在咫尺。在这样的世界里，人类内容创作者（如好莱坞、游戏工作室）的角色将回归到人类的独特性。例如，宫崎骏的吉卜力工作室的电影，从计算机图形学角度看可能相对简单，但其中蕴含的独特故事和人性是无人能及的，除了宫崎骏本人。AI将创造娱乐大众的内容，但也会有人使用AI来创造能够触动、激励或以AI无法做到的方式服务他人的内容。她看到了共存的可能性。

AI可能接管制作部分（如制作引人入胜的视频、精美的图形），但最终，在情感层面与人产生联系、讲述让人感动落泪的故事，将是人类的部分。

全球合作与个人参与

最后，在全球格局下，特别是在中美两国都非常有能力但存在分歧的背景下，如何共同努力加速并确保AI的负责任发展？

李飞飞承认世界的复杂性，斯坦福HAI研究所正与共享民主和人权价值观的全球社群合作。她认为，科学、艺术以及基本的人性始终是人类团结的根本力量。持续的协作、交流和真诚的思想交换仍然非常重要。

关于当前中美在学术合作甚至芯片贸易方面的“冻结”状态，她表示遵循大学给出的指导方针，目前情况并未缓解。这是事实陈述。未来是否会缓解，尚不确定。但她认为，在医疗健康等需要全球协作的领域，依然存在合作机会。

在对话的最后，李飞飞向观众，特别是年轻一代发出呼吁：AI是一个工具，虽然其背后需要数学和计算来实现，但人类不仅是工具的创造者，也是工具使用方式的决策者、工具应用的创造者、工具的客户，以及决定如何治理工具和工具使用者的选民。因此，在参与AI方面存在巨大的公民可能性。她恳请热爱艺术、社区、法律、医学、化学等任何领域的年轻人，拥抱这项技术，并以一种能够带来改变的责任感去拥抱它，更好地使用它。每个人在AI中都有自己的角色，请加入我们，让它变得更好。

总结

本节课中，我们一起学习了李飞飞教授关于AI影响、风险、公共部门作用、技术未来以及人类独特性的深刻见解。她强调，AI是一项变革性技术，其影响横跨各个领域，同时也带来社会性风险。支持公共部门AI、确保资源平衡、进行深思熟虑的监管至关重要。最终，在机器时代，我们不应忘记自身的人性和尊严，人类的创造力、情感连接和独特性是无法被替代的核心价值。每个人都应积极参与，负责任地塑造AI的未来。

015：与 Greg Estes 的现场对话

概述

在本节课程中，我们将跟随 NVIDIA 开发者计划与企业营销副总裁 Greg Estes 的视角，回顾 GTC 2024 大会的盛况。我们将了解大会的规模变化、AI 生态系统的演进、行业参与者的多样性，以及 AI 技术从研究到企业级部署的转变历程。

大家好，我是 Claudia Cook。我身边的是 Greg Estes，他是我们的开发者计划与企业营销副总裁。

我们现在从 GTC 2024 现场为您带来直播，非常兴奋能与大家分享展会上正在发生的一切。五年了，对吧？距离我们上次在会议中心举办大会已经五年了，现场的能量简直爆棚。

是的，变化巨大。回想一下，NVIDIA 作为一家公司，与五年前相比已处于截然不同的位置。2019 年，我们公司大约有 8600 名员工。昨天主题演讲现场有 11000 人，现场参会人数可能达到 17000 甚至 18000。我们预计到本周结束时，将有 30 万人注册并通过在线方式观看 GTC 的内容。因此，现场的热烈氛围和能量完全超出了图表。

确实如此。现在时间还早，展馆还没开放，所以你们看不到我们身后的人群。但昨晚简直是人山人海，到处都挤满了人，而且大家都很开心。在众多科技展示中，我们还有一个很棒的啤酒花园。我想说，那是科技与乐趣的完美融合。

没错。我们的社区和生态系统也在发生变化。一切都已经改变。正如 Jensen 在昨天的主题演讲中所展示的，所有重要的 AI 参与者都来到了这里，包括谷歌、微软、AWS、甲骨文等大家能想到的公司，还有 Meta 等。但除此之外，你还能看到各种不同类型的企业也在这里，他们正在构建自己的业务，例如富国银行、约翰迪尔等。这些优秀的品牌和公司现在都在用 AI 做着惊人的事情。这与 2019 年相比是一个巨大的不同。

实际上有很多变化。2019 年，很多展示的还是研究项目，我们展示的可能只是上周四刚发明的、新奇古怪的东西。而现在，你看到这些技术已经在各种非常传统的企业中部署应用了。他们来到这里讨论这些应用，这标志着市场已经改变，也标志着生态系统如你所说已经改变。我一直很喜欢看到我们的研究变为现实，真正得到部署。回想它当初还只是一个想法雏形的时候，非常有趣。

同时，不同领域的涌现也让你能清楚地看到 AI 的发展方向。生成式 AI 当然是现在每个人都在关注的焦点。2019 年，人们甚至不太清楚 AI 是什么，而现在，12 岁的孩子都能告诉你 ChatGPT 是什么。这是一个巨大的变化。医疗保健等所有行业都在使用 AI。我们这里还有一个美丽的 AI 艺术装置，来自 Refik Anadol。他的装置非常华丽、漂亮。它也是主题演讲的一部分，人们走进来就能体验到。

我们很高兴能与他合作。这个装置在纽约曼哈顿的现代艺术博物馆展出，他确实是世界上领先的 AI 艺术家，无疑是最著名的一位。能在主题演讲现场进行这样的展示，并在那个巨大的、堪比泰勒·斯威夫特演唱会规模的屏幕上呈现，充满了整个 SAP 中心，那种能量非常酷。我们本周早些时候还在演播室采访了 Refik，所以大家可以去看看那期节目。他是个很有趣的人。

是的，他非常棒，大家一定要去看看。这个演播室让我们能够邀请到合作伙伴和演讲者，并请你来这里聊聊，因为 GTC 是你我共同的热情所在。说到电视演播室，CNBC 也在这里，Jim Cramer 正在进行现场直播，这太棒了。60 分钟节目组也在这里为一个片段进行拍摄。来自十几个国家的广播公司在这里进行各种活动。这种能量真的非常酷。例如，CNBC 在 Jensen 主题演讲前做了倒计时。《华尔街日报》的头版也有一篇很棒的文章，说 NVIDIA 吸引了 11000 人参加一个关于 AI 的开发者大会。想想看，这真的很酷。

确实如此。昨天早上醒来看到这些，真的很有趣。那个倒计时太棒了。还有什么你想让大家知道的吗？比如你在期待看到什么，或者在展馆里会遇到什么朋友？

我超级兴奋的事情之一，其实是所有的初创公司。你知道，我们的初创公司计划叫做 “Inception”。昨晚我们为所有 Inception 合作伙伴举办了一场招待会，有超过 500 人参加，我们甚至要担心房间的消防规定。圣何塞市长也到场发表了讲话，这很棒。市长 Matt Mahan 正在努力将圣何塞打造成真正的 AI 之都。

现在，你看到各级政府，从州和地方政府如圣何塞，到国家政府，当然包括美国，以及世界各地的政府，都开始创建这种在本国建立 AI 超级计算机的基础设施。这很有道理，因为你需要投资于这种基础设施，然后围绕它发展生态系统。这样，从顶尖大学毕业的学生就能留在国内，创建初创公司，做所有这些事情，并且使用本地语言，将数据保留在国内。因此，在政府的各个层面，你现在都能看到这种投资。而几年前，人们对 AI 的态度可能还是“好吧，知道了”。现在，这似乎成了一种必然。

这也说得通，因为想象一下，现在有哪个企业会在战略上说“是的，我们不打算在 AI 上做太多”？谁会那样做呢？所以，从技术角度来看，AI 已经无处不在。它是我们一生中经历的最深刻的技术变革。因此，人们能够来到 GTC，看到整个生态系统，了解它。如果你是开发者，可以获得动手培训；如果你是来自世界各地的高级管理人员或政府工作人员，可以沉浸其中，真正理解如何构建你的战略。

我们非常自豪，GTC 已经成为世界上最重要的 AI 会议。我们非常自豪，在注册人数方面，我们正在突破所有可能的预期。我也非常自豪，我们所有的合作伙伴，甚至有人在我们的开发者大会上搭建了两层楼的展位。这从根本上改变了 NVIDIA 的地位和生态系统的发展方向，超级令人兴奋。我们必须向幕后团队致敬，是他们将这一切凝聚在一起。

人们根本不知道这背后有多少工作。你知道，我们提前八到九个月就开始筹备 GTC，有些事项甚至提前一年就开始规划。因为我们有大约一千场不同的演讲、会议和小组讨论等。我们可能只接受了不到 64% 的提交内容（我上次看的数据），所以你必须筛选上千场演讲，决定邀请谁来，安排谁在哪天哪个场地。这些后勤工作，人们甚至想不到，简直令人难以置信。追踪器在这里帮了我们大忙。

是的，我们喜欢我们的追踪器。但就像你说的，五年了，能回到这里真是太棒了，见到老朋友和新朋友也很棒。谢谢你帮助我们完成这一切。

绝对应该。观看这段视频的各位，你们自然会在活动结束后才看到。但将这些 GTC 会议内容提供点播和视频点播，使我们所有开发者和希望了解前沿动态的人们都能获得这些精彩内容。这不仅仅是关于 AI，还包括数据科学、高性能图形和高性能计算。并非全是 AI，但 AI 可以说是重心所在。能够利用机会观看所有这些内容，是一份真正的礼物，我希望大家好好利用。

好的，Greg，感谢你加入我，一起回顾这次活动。也感谢大家的观看。请务必探索 GTC 目录中的更多会议。

总结

本节课中，我们一起回顾了 NVIDIA GTC 2024 大会的盛况。我们了解到，与五年前相比，大会规模、参与企业的多样性以及 AI 技术的成熟度都发生了巨大变化。AI 已从实验室研究走向广泛的行业部署，成为驱动各领域创新的核心力量。GTC 大会本身也已成为全球最重要的 AI 技术交流平台，连接着开发者、企业、初创公司和政府，共同构建未来的 AI 生态系统。

016：我是AI - 官方主题演讲介绍

在本节课中，我们将学习英伟达GTC 2024大会中“我是AI”主题演讲的核心内容。这段视频展示了人工智能在多个领域的应用与愿景。我们将逐一解析AI扮演的不同角色及其背后的技术概念。

概述

这段视频通过一系列生动的场景，描绘了人工智能作为远见者、助手、变革者、训练师、治愈者和导航者的形象。它展示了AI如何从天文物理到医疗健康，从能源存储到日常辅助，深刻地改变我们的世界。核心在于，AI是由深度学习、英伟达技术和全球智慧共同驱动的。

我是远见者 👁️

上一节我们概述了AI的多重角色，本节中我们来看看AI作为“远见者”的具体表现。

AI能够照亮星系，让我们见证恒星的诞生。它还能帮助我们更清晰地理解极端天气事件。这背后依赖于强大的计算模型分析海量数据。

以下是AI作为远见者的两个关键应用：

分析天文数据，模拟星系演化。
处理气候数据，预测极端天气模式。

其核心通常涉及处理序列数据的模型，例如循环神经网络（RNN）或Transformer，其基本注意力机制可简化为：

Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) V

我是助手 🤝

了解了AI在宏观科学领域的应用后，我们转向它与人类个体的直接互动。AI可以成为贴身的助手。

AI能够引导盲人在拥挤的世界中行走。它还能为无法说话的人发出声音。例如，语音合成和计算机视觉技术让这些成为可能。

以下是AI作为助手的功能示例：

实时环境感知与语音导航。
将文本或脑电波信号转换为自然语音。

一个简单的文本转语音（TTS）接口可能如下所示：

tts_engine.synthesize(text="我需要去商店")

我是变革者 ⚡

AI不仅是生活的助手，更是推动根本性变革的力量。它作为“变革者”，正在重塑我们的能源未来。

AI利用重力来储存可再生能源，并为所有人通往无限的清洁能源之路铺平道路。这涉及到对复杂物理系统进行优化和控制。

以下是AI作为变革者的应用方向：

优化重力储能系统的调度与控制。
设计和模拟新型清洁能源网络。

其控制逻辑可能基于强化学习，目标是最大化长期收益：

目标：最大化 Σ γ^t * R_t，其中 γ 是折扣因子，R_t 是t时刻的奖励。

我是训练师 🤖

变革需要工具，而机器人是重要的工具之一。AI作为“训练师”，正在教会机器人如何更好地服务人类。

AI教导机器人提供协助、警惕危险，并帮助拯救生命。这通常通过在虚拟环境中进行大量的模拟训练来实现。

以下是AI训练机器人的关键任务：

在仿真环境中学习复杂的操作技能。
识别环境中的潜在威胁并做出安全反应。

训练过程通常使用深度强化学习框架，如：

agent.learn(environment, episodes=10000)

我是治愈者 🩺

从物理世界回到生命科学，AI在医疗健康领域扮演着“治愈者”的角色，带来了革命性的进步。

AI提供新一代的治疗方法和更高水平的患者护理。例如，AI医生可以处理药物过敏查询，确保用药安全。

以下是AI作为治愈者的应用场景：

加速新药研发与分子设计。
提供临床决策支持与个性化护理方案。

一个简单的药物交互检查对话可能如下：

患者：我对青霉素过敏，服用这些药安全吗？
AI系统：检查中...这些抗生素不含青霉素，您可以安全服用。

我是导航者 🧭

最后，AI还是探索未知世界的“导航者”。它通过创造虚拟世界，让我们能安全地理解和应对现实。

AI生成虚拟场景，让我们安全地探索真实世界，并理解每一个决策背后的可能结果。这在自动驾驶、城市规划和军事模拟中至关重要。

以下是AI作为导航者的核心用途：

生成用于测试和训练的逼真仿真环境。
对复杂决策进行推演和结果预测。

场景生成可以表示为：

虚拟场景 = G(随机种子，物理规则，目标约束)

总结

本节课中，我们一起学习了英伟达“我是AI”主题演讲展示的六大AI角色。我们看到，AI作为远见者、助手、变革者、训练师、治愈者和导航者，正通过深度学习等核心技术，在科学、生活、能源、机器人、医疗和仿真等领域发挥着变革性作用。这段视频最终强调，“我是AI，由英伟达、深度学习和遍布各地的卓越智慧赋予生命。” 这勾勒出了一幅由人工智能驱动的、更加智能和高效的未来图景。

017：AI 新时代的加速计算与产业革命

在本教程中，我们将一起学习英伟达（NVIDIA）在 GTC 2024 大会上发布的核心内容。我们将探讨加速计算如何成为新的工业革命引擎，了解全新的 Blackwell 计算平台，并认识生成式 AI 如何催生全新的软件与产业形态。内容将涵盖从芯片架构到软件生态，再到机器人技术的完整技术栈。

概述：一场新的工业革命

英伟达创始人兼首席执行官黄仁勋在演讲开篇指出，我们正处在一场根本性的计算变革之中。这场变革不仅影响计算机行业，更将重塑全球价值百万亿美元的所有产业。其核心驱动力是加速计算和生成式人工智能。

第一节：加速计算的普及与产业转型

上一节我们概述了本次工业革命的背景，本节中我们来看看加速计算如何具体推动各行业转型。

通用计算的发展已触及瓶颈，而加速计算能带来显著的性能提升。这种提升在英伟达自身所处的行业——利用仿真工具创造产品的行业——中尤为重要。目标不再是降低计算成本，而是提升计算规模，实现完全数字化、高保真度的产品全流程模拟，即构建“数字孪生”。

为了加速整个生态，英伟达宣布了与多家世界级公司的合作：

以下是宣布的重要合作伙伴及其合作方向：

Ansys：合作加速 Ansys 生态系统，并将其连接到 Omniverse 数字孪生平台。
Synopsys：加速其计算光刻应用，这是芯片制造中的关键环节。合作将应用生成式 AI 进一步推动半导体制造。
Cadence：加速其电子设计自动化工具。Cadence 还基于英伟达 GPU 构建了名为“Millennium”的超级计算机，用于实时流体动力学仿真。

这些合作的核心趋势是：加速全球的 CAE、EDA 和 SDDA 工具，以便在数字孪生中创造未来，并将它们全部连接到 Omniverse——未来数字孪生的基础操作系统。

第二节：生成式 AI 的算力挑战与 Blackwell 平台

上一节我们介绍了加速计算在传统工业软件领域的应用，本节中我们来看看驱动生成式 AI 发展的核心算力挑战及英伟达的解决方案。

大语言模型的规模正在以惊人的速度增长。模型参数数量和训练所需的数据量共同决定了所需的计算规模。以当前先进的约 1.8 万亿参数的模型为例，其训练需要执行数千万亿次浮点运算。

如果用一台每秒执行一千万亿次运算的计算机来训练，将需要约 1000 年。因此，我们需要更强大的 GPU 和将它们高效连接起来的方法。英伟达的答案是 Blackwell 平台。

Blackwell 不是一个单一的芯片，而是一个平台。其核心是拥有 2080 亿个晶体管的 Blackwell GPU。它采用创新的芯片设计，将两个芯片通过高达 10 TB/秒的互联带宽连接，使其在系统中表现为一个统一的巨型芯片。

Blackwell 平台包含多项关键创新：

第二代 Transformer 引擎：能动态、自动地调整数值精度，在保持训练收敛性的同时提升效率。
第五代 NVLink：互联速度是上一代 Hopper 的两倍，并在网络中集成计算能力，加速 GPU 间的协同工作。
可靠性引擎：提供芯片级的全面自检和系统内测试，保障大型系统长时间运行的稳定性。
安全 AI：支持对静态、传输中和计算中的数据进行全面加密。
解压缩引擎：提升数据进出计算节点的速度，保持强大算力的持续满载。

与上一代 Hopper 相比，Blackwell 在 FP8 精度下的训练性能提升 2.5 倍，并引入了 FP6 和 FP4 精度，特别优化了生成/推理性能。对于大语言模型推理，Blackwell 的性能可达 Hopper 的 30 倍。

第三节：AI 工厂与生成式 AI 的推理优化

上一节我们介绍了为训练而生的 Blackwell 平台，本节中我们来看看它如何服务于生成式 AI 的推理（生成）阶段，并理解“AI 工厂”的概念。

未来的计算方式将从“检索”转向“生成”。当用户与 AI 交互时，后台是 GPU 在生成内容（Token）。这种生成式计算是全新的产业，其基础设施可被称为 AI 工厂。AI 工厂的目标是产出“智能”这一新形态的价值。

大语言模型的推理极具挑战，因为模型巨大，无法放入单个 GPU，且需在吞吐量和交互延迟之间取得平衡。这需要在成千上万个 GPU 上以多种并行策略（如张量并行、专家并行、流水线并行、数据并行）来分布工作负载。

搜索最优的并行配置是一个巨大的空间。得益于 CUDA 生态的可编程性，英伟达能够探索这个空间，找到最优的“屋顶线”配置，从而以最低成本和最佳服务质量提供生成服务。

第四节：NVIDIA AI Foundry 与 NIM：AI 软件的新范式

上一节我们探讨了 AI 工厂的硬件基础设施，本节中我们来看看英伟达如何通过软件栈让企业能够轻松构建和部署专属 AI 应用。

为了帮助企业利用强大的基础模型，英伟达推出了 NVIDIA AI Foundry。这是一个包含三大支柱的完整服务体系：

NVIDIA NIM：即“推理微服务”。它是预训练、优化好的 AI 模型容器，集成了所有依赖项，并针对从单 GPU 到多节点集群的不同配置进行了优化。企业可以下载并在任何云、数据中心或工作站上运行。
NVIDIA NeMo：提供工具和服务，帮助企业使用自有数据对 NIM 进行定制化、微调、评估和护栏设置。
DGX Cloud：提供基础设施，供企业进行模型训练和微调。

企业可以像组装团队一样，将多个具有不同专长的 NIM 组合起来，构建复杂的 AI 应用工作流。此外，通过 NeMo Retriever，企业可以将内部专有数据（如 PDF、数据库）编码成向量数据库，创建可对话的“智能知识库”。

英伟达正与 SAP、ServiceNow、Snowflake 等全球领先的企业软件平台合作，利用 AI Foundry 帮助它们构建各自的 AI 助手和副驾驶。

第五节：物理 AI 与机器人技术的未来

上一节我们讨论了数字世界的 AI 软件，本节中我们来看看 AI 如何理解并与物理世界交互，即机器人技术的未来。

下一代 AI 将是理解物理世界的“物理 AI”。这需要三套系统的协同：

DGX：用于训练 AI 模型，通过观看视频和人类演示进行学习。
OVX：运行 Omniverse，提供数字孪生仿真环境，作为机器人学习和测试的“健身房”。
Jetson/Thor：嵌入在机器人本体中的边缘计算平台，执行实时感知、规划和决策。

英伟达发布了新一代机器人技术栈：

Isaac Perceptor：为自主移动机器人提供先进的视觉里程计、3D 重建和深度感知能力，使其能自适应环境导航。
Isaac Manipulator：为机械臂提供 CUDA 加速的运动规划、3D 姿态估计和抓取基础模型，使其能智能地操作物体。
Project GR00T：一个通用的人形机器人基础模型。它能通过多模态指令和观察人类来学习执行任务，并在 Omniverse Isaac Sim 中通过仿真进行训练，最终实现零样本迁移到真实机器人。其核心驱动力是专为机器人设计的 Jetson Thor 计算平台。

未来的仓库、工厂等设施本身将是软件定义的，通过 Omniverse 数字孪生进行设计、测试和运营管理，并集成上述机器人技术，实现人、机器和基础设施的协同。

总结：五大核心主题

本节课中我们一起学习了英伟达 GTC 2024 主题演讲的精髓，可以总结为以下五大核心主题：

新的工业革命：所有数据中心都应被加速，价值万亿美元的传统数据中心将在未来几年完成现代化改造。
新一代计算平台：专为万亿参数生成式 AI 设计的 Blackwell 平台。
新的软件范式：以 NIM 为代表的、可随处部署的 AI 微服务，它将改变软件的构建和分发方式。
新的应用构建方式：通过 NVIDIA AI Foundry，企业可以创建专属的、基于生成式 AI 的应用程序和聊天机器人。
机器人技术的未来：一切可移动之物都将机器人化，而 Omniverse 将成为机器人世界的操作系统和数字孪生平台。

这五大主题共同描绘了英伟达所引领的，由加速计算和生成式 AI 驱动的技术未来图景。

018：使用 NVIDIA Studio Voice 提升视频音质

在本节课中，我们将学习如何利用 NVIDIA Maxine 中的 Studio Voice 功能，将普通麦克风的录音音质提升至专业水准。我们将了解其核心原理、主要功能以及应用场景。

🎼 概述：革命性的AI音频增强

NVIDIA Maxine 的突破性 AI 模型旨在增强通信体验，彻底变革视频会议。其最新功能 Studio Voice 能将语音质量提升至专业标准，即使用户仅使用普通的笔记本电脑或台式机麦克风。

上一节我们介绍了 NVIDIA Maxine 的总体目标，本节中我们来看看 Studio Voice 具体是如何工作的。

🎼 核心原理：频谱重建与降噪

Studio Voice 利用先进的音频处理技术，通过重建录音过程中丢失的频率来扩展输入或录制音频的频谱。其核心在于两个关键处理：

频谱扩展与重建：该功能能智能地补全音频信号中缺失的高频和低频成分。其过程可以简化为一个信号重建公式：

输出音频 = 模型(输入音频)

其中，AI 模型学习了从“普通麦克风录音”到“高质量录音”的映射关系。
噪声与回声消除：Studio Voice 可以应用复杂的噪声和回声抑制算法。以下是其处理流程的简化表示：
```
# 伪代码示意
原始音频 = 录制信号(包含语音、噪声、回声)
处理后的音频 = studio_voice.process(原始音频)
# 输出主要为纯净的语音信号
```
最终结果是获得更清晰、更饱满的声音，显著提升听者的体验。

🎼 主要功能与优势

基于上述原理，Studio Voice 为用户带来了多项实用功能。以下是其主要优势列表：

背景降噪：有效识别并抑制键盘声、环境谈话等背景噪音，确保人声突出。
回声消除：移除由扬声器反馈到麦克风的回声，保证通话清晰。
带宽优化：在保持高音质的同时，可能对音频流进行智能编码，以适应不同的网络条件。
音质增强：提升语音的清晰度、饱满度和专业感，无需昂贵的外置麦克风。

🎼 总结与应用

本节课中，我们一起学习了 NVIDIA Maxine Studio Voice 如何通过AI技术提升音频质量。它通过频谱重建和降噪两大核心处理，将普通麦克风的录音转化为专业级音质，广泛应用于视频会议、内容创作、在线直播等场景。

总而言之，Studio Voice 代表了AI在实时音频处理领域的重大进步，它通过降低背景噪声、优化带宽，极大地增强了通信体验。如需了解更多关于 Studio Voice 及其他创新功能的信息，可以访问 NVIDIA 官方网站。

019：使用 NVIDIA Nsight System 将 AI 应用扩展至数据中心与云端 🚀

在本节课中，我们将学习 NVIDIA Nsight System 如何帮助开发者在数据中心和云端扩展人工智能应用。我们将了解其核心功能，特别是用于多节点性能分析的“配方”系统，以及它如何与 Jupyter Notebook、容器和远程 GUI 集成，以简化大规模应用的性能剖析与优化工作。

随着云应用每秒请求量的持续增长，以及高性能计算应用工作集规模的不断扩大，对可扩展解决方案的需求变得前所未有的迫切。

Nsight Systems 是 NVIDIA 推出的综合性性能分析工具。如今，Nsight Systems 正在不断发展，以应对 AI 应用在数据中心和云端横向扩展的挑战。我们很高兴地介绍一系列旨在帮助应用开发者分析微服务的新功能。

多节点性能分析与“配方”系统 🔍

上一节我们提到了 Nsight Systems 应对扩展挑战的演进。本节中，我们来看看其核心机制——多节点性能分析。该功能通过名为“配方”的脚本实现，这些脚本会对数据进行分类整理，帮助您直观地理解和分析应用性能。

“配方”的输出结果通过 Jupyter Notebook 集成进行可视化。这能引导您定位需要优化的环节以及潜在的问题根源。

以下是“配方”可以帮助您检查的关键指标：

GPU 利用率
Host to Device 通信时间
网络通信

网络通信分析与可视化 📊

通信是应用横向扩展的关键部分。因此，我们引入了新的分析“配方”，旨在帮助用户理解计算“冷点”与通信之间的关系。

现在，Nsight Systems 可以生成多节点热力图，用于显示：

InfiniBand 网络拥塞情况
InfiniBand 和以太网吞吐量
NVLink 吞吐量
计算与网络通信的重叠情况

容器与云端集成 ☁️

为了适应现代开发环境，Nsight Systems 增强了对流行容器系统的性能剖析支持，例如 Kubernetes 和 Docker。这包括对各大云服务提供商 Kubernetes 服务的全面支持，涵盖亚马逊、微软、甲骨文和谷歌。

此外，为了在您编写代码的地方提供支持，服务器端开发通过远程 GUI 流式容器得以实现。这允许您远程查看报告，而无需将其复制回您的个人电脑或笔记本电脑。

与 Jupyter 的深度集成 📓

Nsight Systems 与 Jupyter 软件的集成正在进一步扩展。现在，Nsight Systems 可以与 Jupyter Lab 集成，允许您在单个代码单元内剖析代码性能。您还可以直接在 Jupyter Lab 中查看文本结果，例如统计信息。

时间线报告只需单击一下即可启动远程 GUI 流式容器，并在新标签页中无缝打开。

总结 🎯

本节课中，我们一起学习了 NVIDIA Nsight System 如何助力 AI 应用扩展。现代计算由 GPU 加速和 AI 定义，将应用扩展到多节点和云基础设施对于满足这些新需求至关重要。Nsight Systems 已经演进，旨在帮助您在新的计算格局中构建应用，无论是在本地还是在云端。

了解更多信息并开始使用，请访问 developer.nvidia.com。

020：NVIDIA GTC 2024 主题演讲预告

在本节课中，我们将一起学习NVIDIA GTC 2024主题演讲预告的核心内容。我们将了解GTC大会的目的，并认识其关键人物。

概述

本次预告片的核心信息是介绍NVIDIA GTC 2024大会及其创办人，并阐明该大会的根本宗旨。

大会开场与人物介绍

首先，预告片展示了大会的开场环节。

以下是预告片中出现的具体画面描述：

一张图片显示：“女士们先生们，请欢迎黄仁勋。”
另一张图片是黄仁勋的肖像。
还有一张图片展示了大会的现场或相关视觉元素。

大会的核心宗旨

上一节我们看到了大会的开场，本节中我们来看看GTC大会存在的根本目的。

GTC的目的是激发世界对于加速计算可能性的艺术。

这意味著大会旨在向全球展示，通过加速计算技术，我们能够实现哪些前所未有的创新和突破。

总结

本节课中我们一起学习了NVIDIA GTC 2024主题演讲预告的内容。我们了解到大会由黄仁勋先生开场，并且其核心宗旨在于启迪世界，探索加速计算所能带来的无限可能。预告片以“祝大家GTC愉快”作为结束。

Have a great GTC。

posted @ 2026-10-17 13:17 绝不原创的飞龙阅读(5) 评论(0) 收藏举报

刷新页面返回顶部

龙哥盟

掠夺·扩张·投机·博弈