开源MCPEval实现协议级智能体测试即插即用

开源MCPEval实现协议级智能体测试即插即用

企业开始采用模型上下文协议（MCP）主要是为了促进智能体工具使用的识别和指导。然而，某机构的研究人员发现了利用MCP技术的另一种方式，这次是为了帮助评估AI智能体本身。

研究人员发布了MCPEval，这是一种基于MCP系统架构的新方法和开源工具包，用于测试智能体在使用工具时的性能。他们指出，当前对智能体的评估方法存在局限性，这些方法"通常依赖于静态的、预定义的任务，因此无法捕捉交互式的真实世界智能体工作流程"。

"MCPEval通过系统收集详细的任务轨迹和协议交互数据，超越了传统的成功/失败指标，为智能体行为创造了前所未有的可见性，并生成有价值的数据集用于迭代改进，"研究人员在论文中表示。"此外，由于任务创建和验证都是完全自动化的，产生的高质量轨迹可以立即用于快速微调和持续改进智能体模型。MCPEval生成的全面评估报告还提供了可操作的见解，以细粒度级别评估智能体与平台通信的正确性。"

MCPEval的不同之处在于它是一个完全自动化的过程，研究人员声称这可以快速评估新的MCP工具和服务器。它既收集关于智能体如何与MCP服务器内工具交互的信息，又生成合成数据并创建数据库以对智能体进行基准测试。用户可以选择哪些MCP服务器以及这些服务器中的哪些工具来测试智能体的性能。

某机构的高级AI研究经理告诉媒体，获取准确的智能体性能数据具有挑战性，特别是对于特定领域角色的智能体。

"我们已经到了这样一个阶段：如果你纵观科技行业，我们中的许多人已经知道如何部署它们。我们现在需要弄清楚如何正确评估它们，"该经理说。"MCP是一个非常新的想法，一个非常新的范式。因此，智能体能够访问工具是很好的，但我们再次需要评估智能体在这些工具上的表现。这正是MCPEval的全部意义所在。"

工作原理

MCPEval的框架采用任务生成、验证和模型评估设计。利用多个大型语言模型（LLM），用户可以选择使用他们更熟悉的模型，可以通过市场上各种可用的LLM来评估智能体。

企业可以通过某机构发布的开源工具包访问MCPEval。通过仪表板，用户通过选择模型来配置服务器，然后自动生成任务供智能体在选定的MCP服务器内执行。

一旦用户验证了任务，MCPEval就会获取这些任务并确定所需的工具调用作为基本事实。这些任务将用作测试的基础。用户选择他们更喜欢运行评估的模型。MCPEval可以生成关于智能体和测试模型在访问和使用这些工具方面表现如何的报告。

该经理表示，MCPEval不仅收集数据来对智能体进行基准测试，还可以识别智能体性能中的差距。通过MCPEval评估智能体所获得的信息不仅用于测试性能，还用于训练智能体以供将来使用。

"我们看到MCPEval正在发展成为一个评估和修复智能体的一站式商店，"该经理补充说。

使MCPEval与其他智能体评估器不同的是，它将测试带到智能体将要工作的相同环境中。智能体根据它们在可能部署的MCP服务器内访问工具的能力进行评估。

论文指出，在实验中，GPT-4模型通常提供最佳的评估结果。

评估智能体性能

企业开始测试和监控智能体性能的需求导致了框架和技术的繁荣。一些平台提供测试和几种更多的方法来评估短期和长期的智能体性能。

AI智能体将代表用户执行任务，通常不需要人类提示它们。到目前为止，智能体已被证明是有用的，但它们可能会被其可用的海量工具所淹没。

某初创公司提供了一个框架，使企业能够评估智能体工具选择的质量并识别错误。某机构在其Agentforce仪表板上启动了测试智能体的功能。某大学的研究人员发布了AgentSpec以实现和监控智能体可靠性。关于MCP评估的几项学术研究也已经发表，包括MCP-Radar和MCPWorld。

由某大学和某大学的研究人员开发的MCP-Radar专注于更通用的领域技能，如软件工程或数学。该框架优先考虑效率和参数准确性。

另一方面，来自某大学的MCPWorld将基准测试带到图形用户界面、API和其他计算机使用智能体。

该经理表示，最终，如何评估智能体将取决于公司和用例。然而，关键的是企业选择最适合其特定需求的评估框架。对于企业，她建议考虑特定领域的框架，以彻底测试智能体在真实世界场景中的功能。

"这些评估框架中的每一个都有价值，这些都是很好的起点，因为它们提供了一些关于智能体强度的早期信号，"该经理说。"但我认为最重要的评估是你的特定领域评估，并提出反映智能体将要操作环境的评估数据。"
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码