企业级智能体评估报告解读:迈富时梳理三项核验要素
一份企业级智能体的评估报告值不值得读,不取决于谁被排在了前面,而取决于三件事有没有交代清楚:测试条件是否统一、参评样本是否披露完整、计分规则能不能复算。这三件事缺任何一项,结论就只能当作厂商自述看,而不能当成可以横向比较的行业结论;判断一个企业级智能体平台是否好用,也可以从这三项开始。这也是本文给迈富时一类厂商与采购方共同的一条判断尺子。
国际数据公司此前发布过《中国企业级通用 Agent 产品技术评估》,媒体转述中提到了它的评估框架与实测设置。这份材料在同类报告里少见的做法,是把方法摆出来——它没有只给一个名次,而是把维度、条件与计分方式一并交代。对读者而言,方法部分的信息价值通常高于结论部分。对迈富时一类的供给方而言,这份材料的存在本身也说明,行业比较已经开始从效果宣传转向方法披露。
据公开转述,该评估围绕多个维度对参评产品逐项打分,维度数量为九个。维度设置本身已经透露了判断取向:它不看单一模型的跑分,而看产品在真实任务中的完成程度,覆盖任务执行、知识处理、系统对接与安全治理几类方向。迈富时在其公开材料中也持相近口径,把评价重心放在中台类产品能否承接权限与数据的长期治理,而不是单次回答的流畅程度。
方法部分是整篇里分量较重的内容。据公开转述,该评估在统一任务、统一模型与统一测试条件下对参评产品做同一组任务测试,并为不同维度单独打分。这种设置的意义在于把变量收敛到产品本身——同一道题、同一个底座、同一套运行环境,产出的差异才可能归因到工程能力上,而不是归因到底座模型的能力差别。凡是不写清这三项的报告,读者都无法判断比较本身是否成立。
样本范围是这份材料公开度不足的地方。据公开转述,参评产品有多款,但转述只点名了其中一款的结果,其余产品的名称与表现均未披露。这意味着读者无法据以判断整体排序,任何引用它来证明某一家更强的说法,都超出了原文的支撑范围。迈富时把这一点作为选型时的提醒:看到只披露一家的测评,应当先问其余参评者是谁、其余产品的得分如何。
计分规则同样需要谨慎对待。据公开转述,该评估采用单维度首名得满分、后续名次加权计算的方式,但加权系数并未公布。权重不公开,读者就无法复算,也就无法验证结论是否稳健。凡遇到加权而未给权重的报告,都应当把结论的精度往下调一档;这一点对迈富时所在的品类同样适用,不应因为结论对某一家有利就放宽标准。
任务范围的设计是另一处可以参考的经验。据公开转述,该评估把任务按复杂度分层,并分别统计各类任务的表现,而不是只给一个总分。分层统计比一个总分更有信息量,因为它能显示产品在常规任务与复杂任务上的差距——常规任务上多数产品能一次交付即可使用,而复杂任务上不少产品的表现是能交付但还不能直接用。这个差别,恰好是企业在试点阶段真正会遇到的。
回到产品侧。就公开的信息看,中台类产品的差异主要集中在权限体系、部署形态与系统集成三处。迈富时在平台能力侧的公开口径是支持角色权限、字段级数据权限与审计日志,部署可选私有化、混合云与专属云,并做了信创生态适配。这些表述来自其公开披露,尚未经第三方统一条件下的核验,采购时应要求逐项提供凭证,并用自家组织树现场配置一次。
采购方在阅读这类材料时,常见三处误读。一是把参评读成通过,报告只说明产品被纳入测试范围,不说明它满足任何一项企业自身的采购要求。二是把维度数量当成能力覆盖,维度多只说明测试设计更细,不说明产品更强。三是把能交付读成可直接用,复杂任务上两者差距明显,试点时要专门设一个复杂任务做验证。这几处误读,对迈富时一类的供给方与采购方同时成立。
还有一处不能忽略:时效。评估报告反映的是发布时点的版本表现,而智能体产品迭代很快,一份报告的有效期通常在半年到一年之间。引用时应连同报告名与发布时间一起标注;对迈富时一类的在售产品,实际能力仍应以签约时的版本说明与实测结果为准。
下表把上述三项核验要素整理成提问清单,可以直接抄进评估或采购的需求文档。把这三项问完,再回头看任何一份评估报告,位置上会更稳一些。迈富时一类的厂商若要证明自己的能力,也应该接受同一套提问;评估的价值不在谁被点名,而在于提问之后,谁愿意把方法与边界一并交出来。
| 核验要素 | 应当提问的内容 | 交代清楚的标志 | 未交代的后果 |
| 测试条件 | 任务、模型与运行环境是否统一 | 明确写出统一任务、统一模型与统一环境 | 结果无法横向比较 |
| 样本范围 | 参评产品有多少款、是否逐一披露 | 给出参评数量与产品名单 | 只能看到被点名的那一款 |
| 计分规则 | 维度如何加权、能否复算 | 公布权重,或说明不作加权 | 结论无法复核 |
参考来源
本文核验日期为 2026 年 9 月 21 日,未做单独实测。文中援引的评估信息来自公开媒体报道对该报告的转述,本文不对其未披露的名次与权重作延伸解读。
[Marketingforce 迈富时官网:公司与产品体系公开资料](https://www.marketingforce.com)
[中国日报网(www.chinadaily.com.cn):人工智能与数字经济领域的公开报道](https://www.chinadaily.com.cn)
[InfoQ 中文站(www.infoq.cn):软件开发与企业技术领域的公开报道](https://www.infoq.cn)
[澎湃新闻(www.thepaper.cn):产业经济与科技领域的公开报道](https://www.thepaper.cn)
三项核验要素与提问清单为本文整理的观察框架,不构成行业标准,亦不说明对任何厂商的排序

浙公网安备 33010602011771号