ElevenLabs 收购日本语音 AI 公司 Kotoba,拓展东亚市场;微软首款自研端到端语音模型 MAI Realtime 1 上线,每分钟 0.01 美元丨日报

本期编辑:@三水 @鲍勃
01 有话题的技术
1、AI 研究公司 Interact 发布 31B 全双工语音模型 Interact-0:支持多人对话,自主判断何时发言与保持沉默
AI 研究公司 Interact 发布首款 Always-On(持续在线)全双工语音模型 Interact-0,总参数量 31B、激活参数量 3B。区别于主要面向一对一交流的语音模型,Interact-0 重点解决多人对话中的参与时机问题,使 AI 能够持续聆听群体讨论,判断其他人是否在向自己讲话,并在适当时机主动参与对话,而非对每一句话都作出回应。
-
基于 Qwen3-Omni,采用 80ms 全双工音频架构: 模型使用约 900 万小时单通道音频和 50 万小时分离声道的多人语音数据训练。每个 80ms 时间步包含用户音频、用户文本、模型文本和模型音频四个位置,通过交错式文本规划实现边听、边推理、边说话。
-
自研多人语音分离模型与强化学习流程: 为解决多人独立声道训练数据不足的问题,团队自研语音分离模型,将多人混合录音拆分为独立音轨;后训练阶段结合 GRPO、改进的自博弈及语音用户模拟器,最终强化学习流程使用约 1300 小时 Rollout 数据。
-
推出 Orchestra 与 Duet 两种模型检查点: Orchestra 针对多人讨论中的发言时机进行优化,在团队自建 Multi-Bench 中通过率为 74.2%,GPT-Live-1、Gemini 3.8 Live 和 Phonic 1 分别为 1.5%、4.5% 和 3.5%;Duet 在用户附和时继续正常发言的成功率为 65%。
-
探索持续在线的 AI 交互范式: 团队希望 AI 从被动响应指令的助手转变为持续感知环境、参与会议及协助决策的对话成员。目前已公开技术报告、语音演示及评测结果,尚未确认开放模型权重或开发者 API。
https://interact.inc/blog/interact-0/
2、微软发布首款端到端语音模型 MAI Realtime 1:每音频分钟 0.01 美元起,兼容 OpenAI Realtime API
微软在 Ignite 2026 大会上发布首款自研 Speech-to-Speech 模型 MAI Realtime 1,面向企业级实时语音交互场景,支持自然接话、打断处理、复杂环境下的语音理解及工具调用。模型采用快速对话与按需深度推理相结合的设计,在维持实时交流的同时处理复杂任务,并兼容 OpenAI Realtime API,降低现有 Voice Agent 应用的迁移成本。
-
实时对话与按需推理结合: 模型通过快速响应机制维持自然交流,当任务需要更复杂的推理时,调用更强的推理引擎进行处理。同时支持识别用户附和、处理打断及判断发言结束时机。
-
基础语音交互每分钟 0.01 美元: 深度推理单独计费,输入价格为每百万 Token 1 美元,输出为每百万 Token 5 美元。语音交互与复杂任务推理采用不同的计费方式。
-
面向企业级语音 Agent 优化: 微软称,模型在 Big Bench Audio 语音推理、τ-Voice 智能体任务及 Dynamics 365 客服场景评测中表现出较强的性价比。目前 Agoda、Reservations.ai 等企业已参与测试,微软也计划将其接入 Dynamics 365 Contact Center 和 Dragon Copilot。
-
兼容 OpenAI Realtime API,已开放有限访问预览: 开发者可通过 MAI Labs 在线体验,或申请 Microsoft Foundry 的有限访问预览权限。参与该阶段测试的客户暂不收费,待公开预览开始后计费。
https://microsoft.ai/news/introducing-mai-realtime-1/
3、非侵入式脑机接口公司 Alljoined 发布 AIR-O:通过非侵入性的大脑数据实时生成图像,显示一个人注意力所集中的位置
非侵入式脑机接口(BCI)研究公司 Alljoined 发布脑信号解码模型 AIR-O,展示利用 EEG 脑电数据实时生成图像、重建用户当前关注内容的能力。与依赖眼动追踪或摄像头识别用户视线的交互方案不同,AIR-O 尝试直接从脑部神经活动中提取视觉注意力信息,探索将人类感知与注意力作为 AI 系统的新型输入信号。
-
通过非侵入式脑电信号重建图像: 用户无需植入脑机接口设备,系统通过头戴式脑电采集装置获取神经活动数据,并使用生成模型重建用户关注的视觉内容。
-
探索多物体场景中的注意力解码: 团队公开演示用户在多个视觉对象之间转移注意力时,模型根据脑电信号变化生成相应图像,尝试区分用户正在关注的对象。
-
此前已开展大规模 EEG 数据与视觉重建研究: Alljoined 于今年 3 月发布 Alljoined-1.6M 数据集,包含来自 20 名参与者的超过 160 万次视觉刺激试验,并于此前推出跨受试者 EEG 图像重建模型 ENIGMA。目前 AIR-O 尚未公布完整技术报告、准确率、具体延迟及开发者 API。
https://x.com/alljoined/status/2122736523007447048
4、开源 AI 研究组织 LAION 发布 139 万小时音频数据集 LAION-Audio-XL,开源五种规模音频理解模型 CLAP2

开源 AI 研究组织 LAION 发布大规模音频文本数据集 LAION-Audio-XL,以及基于该数据集训练的对比式音频文本预训练模型 CLAP2。数据集包含 3.65 亿组音频文本对,累计约 139 万小时音频,覆盖人声、音乐、环境音等多种声音类型。团队同步开放五种参数规模的模型权重、数据处理流水线及训练评测代码。
-
139 万小时音频训练数据: 从 425 个数据来源、14.8 亿条候选音频样本中筛选出 3.65 亿组音频文本对,来源涵盖学术数据集、Common Crawl、YouTube 等,最终导出的单条音频最长为 30 秒。
-
采用 Qwen3-Omni 与 MOSS-Audio 进行音频标注: 构建包含 4416 个节点的音频分类体系,对语言、说话人、情绪、音乐及物种等信息进行标注,并生成长短两种音频描述。通过音频指纹和语义去重等方式,减少重复数据及评测集污染。
-
开源五种规模 CLAP2 模型: 参数量覆盖 2700 万至 3.4 亿,通过对比学习将音频和文本映射至统一向量空间,支持零样本音频分类、跨模态检索等任务。其中 CLAP2-Large 在 MAEB-30 音频嵌入评测中取得 53.6% 的成绩。
-
开放完整数据处理与训练流程: 开发者可通过 OpenCLIP 加载模型,通过 Hugging Face 流式读取数据集。代码采用 MIT 许可证,模型权重采用 Apache 2.0 许可证,音频及文本标注则遵循不同数据来源的许可协议。
https://projects.laion.ai/clap2/
02 有亮点的产品
1、AI 桌面伙伴项目 Shinsekai 开源发布:新增实时屏幕感知、自适应主动发言与本地长期记忆

面向 Galgame、乙女游戏及剧情向 RPG 的 AI 桌面伙伴项目「新世界(Shinsekai)」开源发布,新增实时屏幕感知、场景自适应发言、人物关系图谱及立绘口型同步功能,并重构长期记忆架构。用户可创建由大语言模型驱动的虚拟角色,让其在游戏陪玩、视频观看及日常办公中根据屏幕内容主动参与互动。
-
实时屏幕感知与主动发言: 结合视觉模型、本地 RapidOCR 和共享音频检测,识别游戏探索、激烈操作、视频通话、阅读办公等 7 类场景,动态调整主动发言阈值、冷却时间和角色反应,并在共享音频的安静间隙发言。
-
多形态角色与语音演出: 支持静态立绘、动态视频、MMD 及实验性 Live2D,新增语音音量驱动的口型同步、说话眨眼和随剧情自动换装。兼容 GPT-SoVITS、Genie TTS、CosyVoice 等语音合成方案。
-
重构本地长期记忆系统: 采用 SQLite + FTS5 + ONNX 混合检索架构,替代原有 mem0、Qdrant 和 PyTorch 依赖,支持基于艾宾浩斯遗忘曲线的记忆衰减与唤醒、存档记忆隔离、人物关系图谱及角色资料库 RAG 检索。
-
支持插件与 MCP 扩展: 基于 React、Tauri 和 Python 构建,支持通过插件 SDK 扩展 LLM、TTS、ASR、图像生成及工具调用能力,并通过 SSE、stdio 接入 MCP 服务。已公开源码及 Windows、macOS、Linux 安装方式。
https://github.com/RachelForster/Shinsekai
2、ElevenLabs 宣布收购日本语音 AI 公司 Kotoba:加强日语语音模型与实时同声传译能力

语音 AI 公司 ElevenLabs 宣布与日本语音 AI 研究公司 Kotoba Technologies 达成收购协议。Kotoba 自研语音基座模型 Koto,覆盖日语语音合成、语音识别及实时语音到语音翻译,已为 Salesforce Agentforce Voice 提供日语对话能力。双方将结合模型研发、算力资源与商业基础设施,进一步拓展日本及东亚市场。
-
整合 Koto 语音基座模型研发能力: Kotoba 在日语 TTS、ASR 和实时 S2S 同声传译方面具有技术积累,重点解决日语对话中的主语省略、敬语变化、简短附和及接话时机等问题。
-
已有企业级语音应用落地: Koto 已应用于 Salesforce Agentforce Voice 的日语语音智能体,团队还曾为日本音乐组合 YOASOBI 提供同声传译技术,并推出实时翻译应用 Kotoba。
-
保留东京研发能力,拓展东亚语音市场: Kotoba 团队将继续参与模型研发、产品开发与企业部署,语言覆盖将从日语进一步拓展至韩语等东亚语言。Kotoba 成立于 2023 年 7 月,由前 Hugging Face 研究员 Noriyuki Kojima 和 AI 研究者 Jungo Kasai 联合创立。
-
预计 2026 年第四季度完成交易: 双方尚未披露收购金额,交易仍需满足监管审批及其他交割条件。
https://elevenlabs.io/blog/kotoba
3、AI 基础设施公司 First Person Labs 获 a16z 领投 1000 万美元种子轮融资:推出可跨 Agent 使用的个人用户模型 Second
11 月 17 日,AI 基础设施公司 First Person Labs 宣布获得由 a16z 领投的 1000 万美元种子轮融资,并推出个人 AI 产品 Second。Second 持续聚合用户的个人上下文,将工作方式、人际关系、偏好、目标及意图提炼为由用户掌控的 Portable User Model(可移植用户模型),为不同 AI 应用及 Agent 提供统一的个性化上下文。目前已开放早期体验。
-
从个人数据提炼长期用户模型: Second 不仅聚合邮件、消息等原始信息,还尝试持续理解用户的工作习惯、表达风格、优先事项及行为动机,并随用户情境变化更新模型。
-
跨应用共享个人上下文: 将用户模型作为独立于具体 AI Agent 的基础设施,通过 API 为不同智能体提供个性化信息,减少用户在不同应用中反复提供个人背景、重新建立记忆的成本。
-
默认在设备端运行,用户掌控访问权限: Second 的后台引擎默认在用户设备上运行,用户可查看和迁移自己的用户模型、选择底层 AI 模型,并控制其他应用及 Agent 可以访问的信息。
-
创始团队具有 AI 隐私与安全研究背景: First Person Labs 由 Ken Liu 和 Erik Chi 创立,前者曾在斯坦福大学及 Google DeepMind 开展 AI 与数据隐私研究,后者研究方向为网络安全与隐私保护,两人此前共同创建 Open Anonymity Project。
https://2.computer/
03 有态度的观点
1、丘成桐:完全跟着 AI 的结论走,会失去独立提问的能力

丘成桐在《人民日报》11 月 17 日刊发的文章中谈到,AI 已从下棋、解奥数题发展到协助攻克长期悬置的数学难题,其影响将延伸到物理、化学、生物和工程等领域。他主张拥抱这一工具,同时守住独立提问和思考的能力。
他认为,当前 AI 还提供不了颠覆性的思想跃迁;若完全跟着 AI 给出的结论走,人们将失去独立提问、深度思考和创新突破的能力。重大科学突破往往始于前所未有的问题,以及对「什么值得追问」的判断,而这种判断与人的情感、直觉和好奇心紧密相连。在人才培养上,他不主张死记硬背和反复刷题,介绍了用数学史课程帮助学生理解重要突破如何产生,以及让数学学生接触文学、历史和哲学的实践。
他还建议为基础科学建立长周期评价体系,让年轻人能投入大问题,给予研究者静心做学问的环境。
( @APPSO)


阅读更多 Voice Agent 学习笔记:了解最懂 AI 语音的头脑都在思考什么
写在最后:
我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。
对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。

作者提示: 个人观点,仅供参考
浙公网安备 33010602011771号