Dessa 发布:AI 语音的 GPT 时刻到来?

你能听出,这是两个 AI 在对话吗?
Block 发布的 Dessa 演示里,它与 GPT-Live-1 聊起天来:有停顿,有接话,也有说话时仍在倾听的感觉。让人惊讶的地方,已经不只是“声音像真人”,而是对话开始有了来回。
不过,先把几个词拆开,你就更容易听懂这次变化。
ASR:你的听写员
ASR 的全称是 Automatic Speech Recognition,自动语音识别。你说“帮我定个闹钟”,它把声音识别成这几个字。
STT 是 Speech-to-Text,语音转文字。在日常讨论里,两者经常指向同一类任务:把听到的声音变成文字。它们不是要背的两套神秘技术。

接下来,LLM,也就是大语言模型,读懂这段文字、组织回答。最后,还有一位“朗读员”等着上场。
TTS:你的朗读员
TTS 的全称是 Text-to-Speech,文字转语音。它把“已设置早上七点”的文字,变成你听到的声音。
把这条常见链路连起来,就是:
你说话 → ASR 听写 → LLM 想好怎么回答 → TTS 读出来。
这就像几个人接力干活。每一棒都做对,整体才顺。听写错了,后面可能答非所问;每一棒都多等一会儿,对话就容易显得慢半拍。

而且,声音里还有文字没有写出来的东西。同一句“你可真厉害”,真诚赞叹和带着讽刺,意思可能相反。语气、停顿、笑声和重音,都是对话的一部分。
Speech-to-Speech:声音进,声音出
Speech-to-Speech,常写作 S2S,可以理解为从语音到语音。端到端语音模型可以直接围绕音频学习和生成回应,不必先把整句话完整转成文字,再按传统链路逐棒交接。
但要分清:S2S 描述的是输入输出或处理路线,全双工描述的是双方能不能同时说和听。声音进、声音出,并不自动等于全双工。
半双工:像对讲机,你说完我再说
半双工不是“只能单向说话”,而是两个方向都能传,但同一时刻要轮流。
想象按住对讲机按钮:“收到,请回答。”你说话时,对方先听;你松开之后,对方再说。如果一个语音助手要等你说完才开始回答,回答时又听不进你的插话,体验上就很像这样。

顺带一提,始终只有一个传输方向,叫单工,比如广播。这和半双工还不一样。
全双工:像打电话,边说边听
打电话时,你说话,我也能开口;我一边回应,还能听见你补充的“等一下”。
这就是全双工的关键:双方可以同时收发。 放在语音 AI 上,就是模型开口时仍能处理你的声音,才有机会自然地应对打断、接话和语气变化。

做出自然对话,还需要模型判断什么时候该说、什么时候该停、什么时候该给一个“嗯”的回应。全双工提供了条件,好的对话表现还需要更多能力配合。
为什么 Dessa 值得关注?
根据 Block 官方介绍,Dessa 从人类对话的声音中学习。官方还披露:其训练使用一套 NVIDIA GB200 NVL72,并可在 M4 Max MacBook Pro 或更高配置设备上,以快于实时的速度本地运行。这些硬件与性能信息来自官方说明,本文未做独立测速。
“快于实时”可以直观理解为:生成一段声音所花的时间,短于把这段声音播放完所需的时间。它不表示训练能在普通笔记本上完成,也不等于每一次交互都没有等待。
我们把“AI 语音的 GPT 时刻到来?”写成问句,是因为这确实值得观察:语音 AI 会不会从“听指令、念答案”,走向更自然的交谈?
先记住三件事就够了:ASR 负责听写,TTS 负责朗读;S2S 让声音参与回答过程;全双工让双方有机会边说边听。
声音自然、会接话,也不等于已经具备人类智能。听演示时,不妨留意它怎么停、怎么接,以及你插话时它会怎么做。
来源:Block Dessa 官方介绍与官方 Dessa × GPT-Live-1 对话演示。配图为零一道制作的科普动画画面,含 AI 辅助制作内容。
谯洪敏|零一道

浙公网安备 33010602011771号