模型的输出正在从"词"变成"带概率的决策"：Jev 想做大模型之外的另一类模型

上次聊 Jev，我写的是它发布后被社区快速复刻的现象。这两天又听了 Latent.Space 对 TypeSafe AI 创始人 Diogo Almeida 的访谈，想换个角度再聊一次：这家公司真正想改变的，可能不是"更快更便宜"，而是模型输出的形态本身。

先交代一下背景。Diogo Almeida 是 InstructGPT 论文《Training language models to follow instructions with human feedback》的共同作者（arXiv 2203.02155，2022 年 3 月提交，他是第 4 作者）。注意，是"InstructGPT 论文共同作者"，而不是网上有些说法里的"ChatGPT 共同创造者"，这两者差别很大。

服务对象从人换成了代码

我们今天用的大模型，输出的是给人看的词。哪怕你让它做一道选择题，它也是先写一段话，再由你的程序去解析这段话里的答案。

TypeSafe 的主张是：下一类模型的服务对象应该是代码，而不是人。所以 Jev 不生成自由文本，只输出一个有类型的决策（typed decision），外加一个置信度。官网的原话是：每个 Jev 决策都附带置信度估计，软件可以在置信度高时直接执行，在置信度低时升级给人处理。

这件事听起来像个工程细节，但我觉得它换了一个坐标系。LLM 回答的问题是"怎么说得好"，Jev 回答的问题是"判断得准不准、有多确定"。

三个原语，正好对应三种代码结构

访谈里最让我眼前一亮的是它的接口设计。Jev 的 API 只有三个原语：

• Choice：对应代码里的 switch / enum，从几个选项里选一个；
• Score：对应排序或阈值比较；
• Noulli：名字来自 Bernoulli，是一个"连续的布尔值"，对应 if 语句，并附带概率。

输入也是结构化的，状态、指令、判断标准都可以是 JSON 对象。换句话说，它不是让程序去适应模型的输出，而是让模型的输出直接长成程序需要的样子。

为什么一个 InstructGPT 作者要这么做

TypeSafe 官网开篇就把 RLHF 的几个固有问题列成了创业理由：mode dropping、过度自信、不可靠。结论是，基于这套方法训练出来的 LLM 必须把人留在回路里；而他们要做的，是为机器原生消费而设计的模型。为此他们自研了一个训练算法，叫 RLCD（Reinforcement Learning for Calibrated Decisions），重点就在"校准"两个字上：置信度要真的可信，上层软件才敢据此放行。

官网给的性能口径是 193.6 倍速度、444.6 倍成本优势，注明基于 System One 类任务的工作流；对照示例里，Jev 一次是 $0.000081、0.114 秒，LLM 是 $0.013880、8.566 秒。这些是官网自己的数字。同时也要看到，TypeSafe 没有披露参数量和定价，创始人还明确拒绝公开 benchmark。

几个需要冷静看的地方

第一，官网打出了"Zero Hallucinations"。但 Jev 本来就不生成自由文本，它和 LLM 的"幻觉"根本不在一个坐标系里，拿来对比等于换了赛道。

第二，Diogo 在访谈里说，通用技术层不该拒绝请求，因为在依赖链里，拒绝会随机破坏软件，"refusal is just, like, obviously a type error"。他也明确表示不做通用的安全对齐层。这是他个人的立场，很有争议，我只把它当作一种观点来看。

第三，我听到的网页版转录只覆盖了节目前半段，后面关于 coding agent 的部分没有拿到，所以以上只基于前半段内容。

我自己的看法

我在写 agent 工作流的时候，经常要问自己一个问题：这一步，是要模型"说得漂亮"，还是只要它"判断得准"？

写周报、写文章、跟用户解释，需要前者；但"这封邮件要不要处理""这条评论是不是广告""这个任务该路由给谁"，其实只需要一个带置信度的答案。过去我们拿会写长文的模型去做这些选择题，再写一堆正则去解析它的回答，既慢又不稳。

Jev 能不能成功我不知道，它也还有很多没披露的东西。但"让模型输出代码能直接消费的决策，并且诚实地告诉你它有多确定"，这个方向我是认的。对做工具和自动化的人来说，一个知道自己什么时候没把握的模型，可能比一个什么都敢说的模型更有用。

来源：

• TypeSafe AI 官网（typesafe.ai）：typed decision 与置信度表述、RLHF 问题、RLCD、性能口径与对照示例
• arXiv 2203.02155（InstructGPT 论文）：Diogo Almeida 作者身份
• Latent.Space 播客《Jev》（latent.space/p/jev）：三个原语、拒绝与安全对齐立场（网页版转录，仅覆盖前半段）