AI-代理-从效率助手到未来的领导者-

AI 代理：从效率助手到未来的领导者？

原文：towardsdatascience.com/ai-agents-from-assistants-for-efficiency-to-leaders-of-tomorrow/

我们正在见证人工智能从仅仅是一个执行工具到评估代理，甚至可能的领导者的超快速进化。随着人工智能系统开始掌握复杂的推理，我们必须面对一个深刻的问题：下一步是什么？在这里，我探讨了人工智能作为领导者的挑衅性可能性，即管理者、协调者、首席执行官，甚至国家元首。让我们讨论一个乌托邦式的、高度高效、数据驱动、无偏见的社会的巨大潜力，同时评估算法偏差、不受控制的监控以及人类责任感的侵蚀所带来的固有危险。然后，一个更平衡的系统出现，其中人工智能与去中心化的人类治理一起头脑风暴，以最大限度地平衡进步与谨慎。**

人工智能正在快速且持续地转变和进化，这早已不是新闻。但让我们详细地思考一下这一点。我们已经远远超出了聊天机器人和图像生成器的初始兴奋，进入了更加复杂的 AI 系统，这些系统已经渗透到科学、技术和娱乐的各个领域。现在，我们正在达到对人工智能在复杂决策中作用的深入讨论。去年以来，已经提出了相当先进的系统，并且仍在不断开发中，可以评估非常复杂的问题，甚至包括硬核科学研究、工程问题和编码的质量。这只是冰山一角。随着人工智能能力的增长，想象这些系统承担项目经理、协调员，甚至在各个领域的“监管者”角色——在极端情况下，甚至可能是首席执行官、总统等，并不是巨大的飞跃。是的，我知道这感觉有点令人毛骨悚然，这就是为什么我们现在最好讨论这个话题的原因！

实验室中的 AI：一场新的科学革命

如果你跟随我，你就知道我来自学术界，更确切地说，是围绕计算机和湿实验室进行的分子生物学世界。因此，我亲眼目睹了学术界如何感受到人工智能和自动化的影响。当 DeepMind 介绍其 AlphaFold 模型时，我作为 CASP 评估员在那里。我见证了蛋白质结构预测的革命，它不仅扩展到蛋白质设计（参见我在 Nature 的 Communication Biology 上的相关诺贝尔奖评论)）。

现在新兴的初创公司正在提出自动化的实验室（说实话，仍然很大程度上依赖于人类专家，但它们仍在前进），用于大规模测试新的分子，甚至允许蛋白质设计师之间进行竞赛——大多数基于一种或另一种分子人工智能系统。我自己就利用人工智能的力量来总结、头脑风暴、获取和处理信息、编码等等。

我也关注排行榜，并对不断进步的推理能力、多模态人工智能系统以及涌现出的每一项新事物感到惊讶，其中许多适用于项目规划、执行，甚至可能是管理——这是我在这里讨论的关键点。

作为一个非常具体的、最近的事例，名为 Agents4Science 2025 的会议将展示完全由人工智能代理产生的论文和评论。这个“沙盒”环境将允许研究人员研究由人工智能驱动的科学与由人类领导的科学研究相比的情况，并了解这些系统的优势和劣势。这一切都与某人对未来的看法一致，即人工智能不仅仅是助手或专业代理，而实际上是一个规划者，甚至可能是（共同）领导者。

无需多言，这不仅仅是一个理论练习。像 QED 这样的新初创公司正在开发使用“批判性思维人工智能”来评估科学论文的平台，将它们分解为论点，并揭示其背后的逻辑以识别弱点。我尝试过一些论文，尽管说实话并不完美——但无疑他们会改进。这种自动化方法可以帮助减轻人类审稿人面临的重压，并加快科学发现的步伐。正如 QED 的创造者 Oded Rechavi 所说，我们需要替代一个经常被描述为延误和任意审查的出版系统。像 QED 这样的工具可以提供急需的速度和客观性。

谷歌，像所有科技巨头一样（尽管我仍在等待看到苹果的最新动态……），也在利用人工智能推动科学软件的边界，在某些情况下甚至超过了人类创造的最先进工具。你尝试过他们新的 AI 搜索模式了吗？以及你如何跟进这些结果？我已经使用这个功能一周了，我仍然感到敬畏。

所有这些观察，我来自学术界，但当然，TDS 的绝大多数（如果不是所有）读者也会经历，预示着一个未来，其中人工智能不仅评估科学（以及任何其他人类活动或世界的发展），而且积极促进其进步。进一步证明这一点的是，人工智能系统可以发现“它们自己的”学习算法，在它以前从未遇到过的任务上实现最先进的性能。

当然，路上也有一些波折。比如，记得 Meta 的 Galactica 在发布后不久就被关闭，因为它倾向于生成看似合理但实际上大部分错误的信息——类似于今天 LLM 系统的幻觉，但程度要差得多！那是一场真正的灾难，它作为了一个关键的提醒，即在我们将 AI 整合到科学过程中，尤其是在我们越来越信任它们时，需要强大的验证和人类监督。

从 AI 作为编码员同仁到 AI 作为管理者

当然，如果你自己也对编程感兴趣，那么你会在这里感到更加认同，软件开发的世界已经被众多 AI 驱动的编码助手彻底改变。这些工具可以生成代码，识别和修复错误，甚至用自然语言解释复杂的代码片段。这不仅加快了开发过程，也使它对更广泛的人群更加容易接近。

AI 驱动的评估和任务执行原则也正在商业和管理领域得到应用。AI 驱动的项目管理工具越来越普遍，能够自动化任务调度、资源分配和进度跟踪。这些系统可以提供一种效率和管理水平，这是人类管理者单独难以实现的。AI 可以分析历史项目数据以创建优化的日程安排，甚至预测潜在的障碍，在它们发生之前。有些人说，到 2030 年，今天项目管理中的 80%的工作将被消除，因为 AI 承担了传统功能，如数据收集、跟踪和报告。

用 AI 算法来治理？

“自动化治理”的想法既迷人又具有争议性。但是……如果 AI 很快就能管理复杂的项目并促进科学发现，那么它是否也能在我们社会的治理中发挥作用？

一方面，AI 可以为治理带来前所未有的效率和数据驱动的决策。它可以分析大量数据集以创建更有效的政策，消除人类偏见和腐败，并提供个性化服务。一个 AI 驱动的系统甚至可以帮助预测和预防危机，如疾病爆发或基础设施故障。我们已经在实践中看到了这一点，新加坡正在使用 AI 驱动的聊天机器人提供公民服务，日本正在使用 AI 驱动的系统进行地震预测。爱沙尼亚也在数字治理方面处于领先地位，利用 AI 改善医疗保健和交通领域的公共服务。

然而，风险同样重大。算法偏见、“黑箱”系统中的不透明性以及大规模监控的可能性都是严重的问题。一家主要银行的 AI 驱动信用卡审批系统被发现给女性设定的信用额度低于具有相似财务背景的男性，这是历史数据偏见导致歧视性结果的一个明显例子。还有问责制的问题：当 AI 系统出错时，谁负责？

混合未来：去中心化人机治理

可能最现实和理想的前景是“增强智能”的未来，其中 AI 支持人类决策者而不是取代他们。我们可以从现有的政治体系中汲取灵感，例如瑞士的集体国家元首模式。瑞士由七人组成的联邦委员会治理，主席每年轮换，这种制度旨在防止权力集中并鼓励基于共识的决策。我们可以设想一个未来，其中类似的模式被用于人机治理：一个由人类专家组成的委员会可以与一套 AI“监管者”并肩工作，每个“监管者”都有自己的专业领域。这将允许有一个更加平衡和稳健的决策过程，人类提供 AI 目前所缺乏的伦理指导和情境理解。例如，人类可以成为董事会的一部分，在咨询专业 AI 系统后集体做出决策，然后后者计划、执行和管理其实施。

去中心化治理的想法已经在区块链世界中得到探索，即去中心化自治组织（DAOs）。这些组织运行在区块链协议上，规则编码在智能合约中。决策由一个成员社区做出，通常通过使用赋予投票权的治理代币。这种模式消除了对中央权威的需求，并允许一种更加透明和民主的治理形式。

该系统的去中心化特性也有助于减轻将过多权力集中在单个实体（无论是人类还是机器）的风险。

通向这个未来的道路仍然很长，但基石正在今天被奠定——这就是为什么现在就参与这类头脑风暴会议可能值得。随着 AI 的持续发展，我们进行开放和诚实的对话，关于我们希望它在我们的生活中扮演的角色至关重要。潜在的利益是巨大的，但风险也同样巨大。通过谨慎行事，并通过设计增强而非取代人类智能的系统，我们可以确保 AI 成为世界上的正能量。