采访录音转写的说话人分离与字幕对齐实践
前篇写了长音频转写的工程实践,这篇补两个进阶问题:采访/访谈类双人录音的说话人分离,和转写文本的时间戳对齐(做字幕、做可回溯纪要都靠它)。
说话人分离(Diarization)
思路是声纹聚类:把音频切成短窗,逐窗提取声纹特征(embedding),聚类后得到「说话人 A / B / C」的时间段。pyannote.audio 是当前最省事的开源方案,pipeline 一行调用,输出 [(speaker, start, end), ...] 区间列表。
坑两个:聚类簇数别写死——双人采访写 num_speakers=2 能显著提准,但三人插话的场合要开自动估计;重叠语音(同时说话)是所有方案的盲区,重叠段会被分给主导声纹,文本上表现为「A 说的话里混着 B 的半句」,人工校对时重点看这些段。
转写与对齐
两条链的合并顺序:先分别拿到 diarization 区间和带句级时间戳的转写结果(多数转写接口返回 sentence-level 时间戳;不返回的用强制对齐工具补),然后按时间区间求交集——每句文本落进哪个说话人区间,就标给谁。
边界句(正好跨说话人切换点)按重叠时长多数归属,误差控制在半句以内,对字幕和纪要场景够用。
产物:SRT 与结构化纪要
对齐完成后两条输出:SRT 字幕(视频访谈直接可用,句级时间戳拼 00:01:23,400 --> 00:01:26,800 格式);结构化访谈稿(说话人分段+时间戳锚点,审稿时点击任何一句可回听原录音位置)。
这套链路跑通后,2 小时双人采访的人工整理时间从一整天压缩到一小时的校对——机器出初稿,人只做确认。说话人分离的准确率在双人清晰录音上已经很可用,真正的瓶颈剩重叠段和方言,这两块的人工校对成本要预估进去。
浙公网安备 33010602011771号