JEV-27B-VL:面向视觉判断与智能体评估的开源决策模型
一张商品图片该归入哪个类别,一段智能体操作是否完成了任务,两个看图回答哪个更准确,这些问题都需要系统作出明确判断。JEV-27B-VL 是 AutoTrust AI Lab 开发的约 270 亿参数开源决策模型,接受文字和图像输入,为判断结果返回概率。开发者可以把它接入分类、推荐和任务验收流程,用统一的方式处理不同业务中的选择问题。对于网页智能体,判断会影响下一步点击;对于推荐系统,判断决定候选内容的排列顺序。JEV-27B-VL 将图像理解与这类选择任务结合起来,返回业务程序能够直接使用的数值结果,也保留了生成回答和逐步推理的能力。
01 把图像理解接入决策流程
审核一张图片时,配文会影响内容含义;检查网页操作时,需要同时知道用户目标和当前页面。JEV-27B-VL 将这些材料放在同一次请求中处理,开发者通过问题确定判断目标,通过候选项规定结果范围。它沿用 JEV-27B 的决策模块,并加入视觉输入。给定材料、问题和候选选项后,模型会计算每个选项的概率;需要解释、生成内容或逐步推理时,则调用同一骨干模型的生成能力。JEV-27B 的决策训练使用了 TypeSafe Jev 1.13 的输出分布,通过蒸馏学习它在各类判断中的概率分配。JEV-27B-VL 沿用这一决策模块,视觉编码器来自 Qwen3.8-27B。处理图像请求时,编码器提供视觉表示,决策模块将候选项的分数转换为经过校准的概率。

02候选选项与概率输出
JEV-27B-VL 支持三种基本输出:判断真或假,从候选项中选择,以及给出 0 至 5 分的评分。一次请求包含用于判断的材料、一条问题和相应选项。材料可以是一段文字,也可以混合图片、截图和文字说明。
例如,客服系统收到“同一杯咖啡扣了两次钱”的投诉,可以把账单、物流和技术支持列为选项。模型返回各部门的概率后,系统便能选择处理队列。遇到商品图片,可以把图片与卖家描述一起输入,再询问它属于电子产品、服装还是家居用品。改变问题和选项,就能复用同一种决策方式。
两个候选项分别得到0.95 和 0.05,与得到0.51 和 0.49,虽然首选相同,系统需要采取的处理方式却不同。开发者可以据此设置自动处理、进一步推理或人工复核的条件;评分任务则可以利用各分值的概率计算期望分,用于排序。
概率区间对应的典型动作
高概率、优势明显 —— 直接自动处理。
概率接近 —— 进一步推理或补充信息。
低置信度 —— 转人工复核。
服务端根据模型输出分数计算概率,同一组候选项的概率相加为一,程序可以直接比较、存储和统计。运行一段时间后,团队还可以检查不同概率区间的正确率,调整业务的处理阈值。
| 环节 | 动作 | 收益 |
|---|---|---|
| 计算 | 分数转概率 | 可直接比较 |
| 存储 | 概率和为一 | 便于统计 |
| 调优 | 检查区间正确率 | 调整处理阈值 |
在任务验收中,开发者可以把完成概率的阈值设为 0.5,也可以提高阈值再放行。阈值曲线记录了各个取值下的精确率与召回率,用来选择验收条件。

选择题最多支持 256 个候选项。在 400 条 CLINC150 测试语句上,同时提供全部 150 个意图,仅使用意图名称的准确率为 89.5%,为每项补充一句用途描述后达到 93.8%。相近选项可以写明各自适用的情况,例如区分“查询退款进度”和“发起退款”,帮助模型判断用户正在询问哪一步。
03 一套骨干,两种工作方式
JEV-27B-VL 采用 Blocks of Experts 的组织方式:保留预训练骨干,再附加针对决策任务训练的模块。图像先经过视觉编码器,转换为可与文字共同处理的表示;语言骨干随后结合材料、问题和候选项,形成用于判断或生成的内部表示。

System 1 负责决策
它在骨干上启用LoRA 适配器和决策头,读取输入末端的隐藏状态,输出候选项对应的分数,再经过偏置、温度校准与归一化得到概率。二选一和较少选项的判断无需生成一段回答,业务程序可以直接读取数值结果。
LoRA 在骨干的投影层上附加少量可训练参数,训练时保留原有骨干权重。JEV-27B 的决策模块合计约 1.089 亿个训练参数,约占骨干的 0.4%,VL 版本沿用这部分模块。蒸馏训练学习教师给各选项分配的完整概率,而不只学习得分最高的那个答案。
决策头有 24 个输出槽位,分别对应真假判断的 2 项、评分的 6 项和选择题的 16 项。服务层将这部分能力接入语言模型输出头,选择题超过 16 项时继续使用扩展标签;超过 128 项时,服务分两次读取选项,并复用输入缓存。支持更多选项的能力由输出标签和服务逻辑共同完成。
System 2 负责生成推理
System 2 使用原有骨干及语言模型输出头,执行文本生成和逐步推理。两种路径共享骨干权重,由请求选择是否启用决策适配器,可以在一个 vLLM 服务中运行。开发者也可以先让 System 1 判断,再按置信度调用 System 2。JEV-27B-DEMO 的一组文本实验中,低于 0.70 置信度时转入推理,整体准确率从 79.2% 提升至 89.2%,其中 70% 的问题在约 0.11 秒内由 System 1 完成。
决策适配器和决策头在文字数据上训练,视觉编码器保留原有权重。图像判断采用零样本迁移,将已有视觉表示送入文字训练得到的决策模块。骨干支持 256K token 上下文,也能接收较长文档和操作记录。
04 从封面推荐到智能体验收
输入用户最近观看的五个视频封面,再加入一个候选视频封面,模型便能估计用户观看该候选内容的概率。系统对多个候选逐一评分,就能形成推荐顺序,新上传的视频也可以凭封面参与排序。
在 MicroLens 数据集的离线实验中,200 名用户各对应 20 个候选视频,其中一个是用户实际观看的下一条。只用封面的 JEV-27B-VL 得到 0.727 的 AUC,与利用 59,045 名其他用户观看记录训练的协同过滤方法的 0.728 接近;前五名命中率分别为 59% 和 49%。仅用标题时,JEV 的 AUC 为 0.649。这里的推荐依据来自封面内容与用户最近观看内容的匹配,无需针对这份数据训练推荐参数。

智能体评估
智能体评估包含两种判断。
第一种比较两段完整操作轨迹,选择表现更好的一段,考察计划执行、错误恢复和工具使用。在 Plan-RewardBench 的 1,171 对轨迹上,JEV-27B-VL 的宏平均准确率为 73.2%,对照成绩中 Qwen-Plus 为 70.0%,GPT-5 为 68.5%。这类比较可以用于筛选智能体方案或评估不同运行结果。第二种检查任务是否完成。模型读取用户目标、操作记录、最终回复和最终截图,返回完成概率。在 AgentRewardBench 的 1,302 条专家标注轨迹上,AUROC 为 0.91;以 0.5 为阈值时,精确率为 78.4%,召回率为 70.2%。调整阈值可以改变验收条件,兼顾识别成功任务与减少错误放行。
例如,用户要求修改账户设置,验收材料可以包含操作前后的截图和点击记录,问题则明确到某项设置是否已保存。评判模块可以独立于执行智能体运行,按同样的完成条件检查不同智能体的输出。
视觉决策也能放进操作循环。浏览器实验给可点击元素标上编号,并提供元素文字,模型根据截图选择下一步点击:在购物、设置和邮件等 60 项任务中,完成率为 95%,每次点击决策约 0.26 秒。MuJoCo 机械臂仿真则让模型判断目标在夹爪的左侧还是右侧、上方还是下方,由控制程序据此移动;20 个随机场景的抓取搬运完成率为 75%。
05 能力得分:视觉理解与回答评判
在 Jev Decision Index 0.3 视觉榜单中,JEV-27B-VL 在 20 个参评模型中排名第一。综合得分为69.82,公开测试为 72.78,私有测试为 66.86。综合分由公开与私有测试各占一半组成,各项先扣除随机猜测基线,再按权重汇总。

JEV-27B-VL 在多类视觉任务榜单上给出了完整实测数据:InfographicVQA 技能分最高达 98.67,13,695 条校准记录的期望校准误差低至 0.019,RTX PRO 6000 上每条决策约 264 毫秒。本文汇总其图表理解、成对评判、多模态奖励与文字决策能力,并说明业务接入时的判断链路。
榜单涵盖空间感知、图表与文档、网页操作等视觉任务。JEV-27B-VL 在 InfographicVQA 的公开与私有测试中分别得到 98.36 和 98.67 的技能分,CharXiv 图表任务则为 79.70 和 66.06。在 13,695 条校准记录中,准确率约为 77.8%,平均置信度约为 79.2%,期望校准误差 ECE 为 0.019;RTX PRO 6000 上每条决策约 264 毫秒。校准误差衡量概率与实际正确比例的偏离程度,数值越低,两者越接近。
给定同一张图、一条问题和两个回答,JEV-27B-VL 可以选择更准确的回答。在 VL-RewardBench 的 1,247 对人工核验样本上,总体准确率为 78.3%,其中幻觉识别为 83.2%,推理为 78.2%。成对评判采用交换回答顺序、再合并结果的方式,降低选项位置对判断的影响。
TIP
图像问答系统可以让生成模型提供多个答案,再用 JEV-27B-VL 比较它们与图像是否一致。评判时需要把原图、用户问题和候选回答一起提供,模型才能结合可见内容选择答案。图表中的数字、物体之间的位置,以及回答是否添加了图中没有的信息,都会进入这次判断。
Multimodal RewardBench 2 将任务扩展到文生图、图像编辑、图文交错内容和推理,每项包含 1,000 对专家标注样本。JEV-27B-VL 四项平均得分为 63.8%,文生图评判达到 69.2%,与 GPT-5 的 70.5% 相差 1.3 个百分点;图像编辑为 57.8%,图文交错为 67.8%,推理为 60.4%。
| 任务类型 | 得分 |
|---|---|
| 四项平均 | 63.8% |
| 文生图评判 | 69.2% |
| 图像编辑 | 57.8% |
| 图文交错 | 67.8% |
| 推理 | 60.4% |
文字能力沿用 JEV-27B 的测试结果:在 JevBench、Kev、OpenJev text、Nimble、VitaminC 和 MASSIVE-en 六组公开决策任务上,等权平均分为 84.07%。VL 版本另做了 1,000 次答案检查对照,两者的平均概率差为 0.010,99.8% 的判断落在 0.5 阈值的同一侧。
接入业务时,可以让 JEV-27B-VL 处理候选排序、内容分类和操作验收,再由业务程序执行选定动作。例如,工单系统先根据文字和附件选择处理队列,智能体随后执行对应流程,验收模块再检查结果截图是否满足用户要求。每一步都有自己的问题和选项,程序将返回概率与处理条件对应起来,并记录材料和结果,便于回查。
OpenCSG vs 魔搭:如何选择?
| 维度 | OpenCSG / CSGHub | 魔搭 / ModelScope |
|---|---|---|
| 平台定位 | 企业级AI资产管理中心 | 面向开发者和AI社区的MaaS平台 |
| 本地部署对象 | 一套模型资产管理平台 | 本身偏向模型、SDK和工具链的本地使用 |
| 私有化 / 离线 | 明确支持私有化部署、离线运行 | 支持模型下载、本地缓存、本地训练/推理 |
| 开源代码 | 平台型产品 | 本身SDK和大量工具链 |
| 项目管理能力 | 模型、数据、代码、应用的统一资产治理,管理模型使用链路 | 模型部署和推理 |
使用模型部署在魔搭、OpenCSG 等模型社区中均可实现,但 OpenCSG/CSGHub 的核心在于,它不只是让模型"跑起来",而是进一步支持企业把模型、数据集、代码和应用等 AI 资产放到本地、内网或离线环境中统一管理。它解决的不只是"模型怎么部署、怎么调用"的问题,更是"模型进入企业后如何被安全管理、版本沉淀、权限控制和持续运营"的问题。对于企业来说,CSGHub 可以帮助构建自己的私有模型资产中心,降低对外部平台的依赖;对于个人开发者来说,也可以用更系统的方式管理模型、实验项目和 AI 应用流程。相比更偏向模型发现、体验和使用入口的魔搭,CSGHub 更适合那些希望把 AI 能力真正沉淀下来,并长期维护、持续迭代的用户。
关于 OpenCSG
OpenCSG是全球领先的开源大模型社区平台,致力于打造开放、协同、可持续生态,AgenticOps 是人工智能领域的一种 AI 原生方法论,由 OpenCSG(开放传神)提出。AgenticOps是 Agentic AI 的最佳落地实践也是方法论。核心产品 CSGHub 提供模型、数据集、代码与 AI 应用的一站式托管、协作与共享服务,具备业界领先的模型资产管理能力,支持多角色协同和高效复用。

浙公网安备 33010602011771号