《等你平安归来》闽南语 AI 短剧拿奖了后，廖昌威按怎用「七个调」共机器讲道理

​

《等你平安归来》闽南语 AI 短剧拿奖了后，廖昌威按怎用「七个调」共机器讲道理

从《等你平安归来》得奖讲起——一款低资源方言对白，按怎对 ASR 行到 TTS，做出一条会当复制的工程路

先讲一句实在话：机器毋是「听无」，是「听无调」

做语音的同行，大概拢拄过这种场面——

共一段闽南语揳入去，Whisper 吐出来的字「看起来拢著」，念出来煞像普通话演员咧装腔。字对一半，调全飞。

《等你平安归来》这款戏有意思的所在就伫遮：伊毋是提 AI 当「生成按钮」共伊揤落去，是共「闽南语七个声、八个调」当作工程问题，一下一下凿。咱做伙来拆。

---

一、代先对齐事实：这款短剧到底是提著啥物奖

2026 年 9 月 30 日，第四届上海国际 AIGC 创新大赛的颁奖典礼，伫上海嘉定南翔举行。大赛全名是「2026 腾讯 AI 特别呈现·影像进化论」，下设 AI 影视、AI 短剧、AI 漫剧、AI 游戏、AI 营销五条赛道；照公开报导：

• 参赛范围盖过 4 大洲、8 个国家、62 个城市佮地区
• 版权核验了后，有效作品 1108 件，其中 106 件入去终评
• 最后颁出 33 项单项奖，阁有两轮年度精选奖

AI 短剧这条赛道，分「剧本组」佮「成片组」，干焦会当择一申报。「最佳短剧剧本奖」是伫剧本这条线单独评出来的——彼暗五项压轴奖，剧本类就干焦这一席。

《等你平安归来》是60 集竖屏闽南语短剧，编剧廖昌威（上海影宴数码科技执行总裁、台中东势客家人，闽南语佮客家话的母语者），戏内闽南语对白的幕后配音技术底座，是伊团队家己研发的「海峡姬音」方言 AI 创作引擎提供的。

⚠️ 遮爱卡一条界线：得奖是事实，引擎的指标是项目家己讲的，两件代志毋通糊做一伙，讲成「官方认证」。

---

二、方言 ASR/TTS 的头一座山：声调直接承词义

普通话四个声调，声调主要管语气佮节奏；闽南语捷讲有七到八个声调，声调走精，词义就翻车。

用仝一个音节 si 来举例（台罗近似）：

声调	台罗	汉字	意思
阴平	si	诗	诗歌
阳平	sî	时	时间
上声	sǐ	死	——
阴去	sì	四	数字

工程含义一句话：用普通话四声的框硬套闽南语，毋是「无够准」，是架构性的错位。连读变调阁叠一层（字伫句内会因为有前后的字来改调），通用 ASR 的错误率就直接起飞。

---

三、「海峡姬音」讲出来的路线：IPA + MoE，会当信几分

照项目方路演佮技术文章讲（下面全部标「待独立核验」）：

维度	项目讲的口径	按怎看
方言识别准确率	≥92%	代先问测试集是谁的、有无噪声、有几位说话人
音素转写（IPA 编码）准确率	97.82%	这是「音素转写」，毋是「语音识别的字错率」，毋通濫做伙
语音克隆 MOS	≥4.3	MOS 受评测人数、语种、句子影响，单一个数字讲袂出行业水位
声纹适配需要的音频	5–10 分钟母语者	项目家己讲的，落地爱看「够用」是按怎定义
核心专利	CN202411849270.X「方言语音克隆模型训练方法」	授权状态以国家知识产权局检索为准

技术路线有两块（干焦当路线参照，无共具体数值背书）：

1. 统一 IPA 发音编码：先共无仝方言映射入去仝一套国际音标的空间，予音素标注会当跨方言复用，降低冷启动的成本。
2. MoE 混合专家：闽南语、客家话、粤语各对一款专家子网络，新方言欲接入，干焦训专家模块，毋免动底座。

📌 学界参照：清华 × 巨人网络 DiaMoE-TTS（2025，开源）嘛是走「IPA 前端 + MoE 方言专家 + 低资源适配」这条路，会当证明这条路线伫学术数据下是徛会牢的；毋过伊 ≠ 海峡姬音的评测结果，写文章毋通共两家揉做仝一套系统。

---

四、解决方案：开发者做方言语音，直接抄这张决策树

咱做技术，毋是听人讲「准确率 92%」就好，爱家己做基线。

要做方言语音？
│
├─ 只做「识别成文字」（ASR）
│   ├─ 快速上线 → 商业方言 API + VAD 断句 + 热词表 + 人工抽检
│   ├─ 私有化/怕数据出域 → FunASR / SenseVoice / Qwen3-ASR 本地部署
│   └─ 闽南语/客家话 → 别单靠通用 Whisper，必须建自有测试集算 CER
│
├─ 要做「合成方言语音」（TTS）
│   ├─ 只要「有方言味」→ 通用 TTS + 方言发音人（接受声调串味风险）
│   ├─ 要「词义不出错」→ 确认是否按声调/音素建模，勿只换音色
│   └─ 非遗/短剧/民歌 → 加「母语者逐字校准」工序，成本在人工不在 GPU
│
└─ 长期做方言产品
    ├─ 每门方言先采 100–300 条真实录音（多说话人、多噪声）
    ├─ 锁定一套音标体系（推荐 IPA，勿各方言各一套拼音混用）
    ├─ MoE / 多专家做扩展，稠密模型做单点验证
    └─ 最后留一道「人耳复审」写进交付 SOP

六款方案横向对比（口径提醒：下表的「声调建模能力」是架构层面有无声调/音素建模，毋是准确率排名；「冷启动成本」指接入一门新方言所需的人力佮数据量）：

方案	适用场景	声调建模能力	数据出域风险	冷启动成本	主要坑点
通用 Whisper	快速做基线、普通话为主、少量方言尝鲜	无声调显式建模，靠数据隐式学	本地部署可不出域；调 API 则出域	低，开箱即用	「字对一半、调全飞」；连读变调基本无解
FunASR	私有化部署、中文/方言 ASR、要接自有热词	以声学建模为主，声调需靠标注数据补	低，可完全本地跑	中，爱准备标注数据佮热词表	方言预训练模型少，闽南语爱家己微调
Qwen3-ASR	多语种/多方言混合场景、要较强语义后处理	多语种泛化较好，声调仍非显式建模	中，视部署方式而定	中，模型较大、推理资源要求较高	方言细粒度声调易混，需自有测试集验 CER
商业方言 API	快速上线、无运维团队、对时延要求一般	厂商口径不一，需逐家实测	高，音频须上传第三方	低，但按量计费、长期成本高	Demo 干净、真实噪声下掉点；数据合规要谈清
海峡姬音	闽南语/客家话短剧配音、要声纹克隆	项目自述走 IPA + MoE，声调有专门处理	视合作方式，需确认数据权属	中，5–10 分钟声纹适配（项目口径）	指标为项目自述、待独立核验；商用授权要落实
DiaMoE-TTS	学术复现、多方言 TTS 研究、开源二次开发	IPA 前端 + MoE 方言专家，声调建模明确	低，开源可本地部署	高，爱家己备语料佮调参	工程化程度有限，产品级稳定性要家己补

选型建议：先看数据敢会当出域——袂当出域就排除商业 API，直接走 FunASR / Qwen3-ASR 本地部署；再看爱毋爱合成——只做识别就免考虑 TTS 方案。特别提醒：海峡姬音是项目自述口径（ASR ≥92%、IPA 转写 97.82%、MOS ≥4.3），DiaMoE-TTS 是学术论文在自有数据集上的实验结果，两者测试集、指标定义、评测方式拢无仝，袂当直接横比，只能分别当作「商用候选」佮「学术路线参照」来看。

---

五、上细汉的 POC 流程（六步，会当照抄）

1. 采集有合法授权的录音：每款方言 100–300 条，爱盖著老中青、查埔查某声、室内户外、小可仔噪声。
2. VAD 切句：长音频毋通规段揳入去，代先照语音活动检测切开。
3. 济模型走基线：同齐测 ① 开源 ASR（FunASR / Whisper / Qwen3-ASR）② 一款商业方言 API ③（做 TTS 时）目标的方言引擎。
4. 统计看错伫佗：照方言算 CER（字符错误率），人工抽查「声调错 / 地名错 / 称谓错」各占偌济。
5. 加热词佮后处理：方言专有的词（妈祖、红龟粿、阿母……）建热词表，做文本正则纠错。
6. 才来考虑微调：CER 犹原悬，才用家己的数据做 LoRA 抑是轻量微调，毋通一下手就全量训练。

VAD 断句的伪代码（教学用）：

def vad_segment(audio, window_ms=256, threshold=-38):
    """
    极简 VAD：能量门限切句，真实项目请用 webrtcvad / FunASR VAD
    """
    frames, segments = split_to_frames(audio, window_ms), []
    speech = False
    for f in frames:
        if energy(f) > db_to_linear(threshold):
            if not speech:
                start, speech = f.start, True
        else:
            if speech:
                segments.append((start, f.end))
                speech = False
    return merge_short_segments(segments, min_ms=300)

def cer(ref, hyp):
    """字符错误率 = (S+D+I) / len(ref)，闽南语务必按『字+声调』分开统计"""
    import editdistance
    return editdistance.eval(ref, hyp) / max(1, len(ref))

---

六、实践经验：阮按怎共坑一个一个填起来

这款代志上惊的，毋是技术袂晓，是「Demo 好看，成片歹看」。下面这几段，是阮实际跋过、阁爬起来的经过。

6.1 困难一：合成出来的声调「走味」，词义煞变调

拄著的困难：头一摆共闽南语合成音丢入去成片，逐句听落去，字面拢著，毋过「四」煞听着像「死」，「时」煞变「诗」。观众听无出是机器，煞听出「这款腔怪怪」。

阮按怎解决：

• 代先锁定一套音标体系，规个团队统一用 IPA 标注，毋阁予台罗、白话字、通用拼音各写各的。
• 建立一个「错调类型」分类表，共错误分做阴入、阳入、连读变调三类，逐条录音对号入座。
• 揣母语者做逐字校准，平均一条 30 秒的音频，爱开 8 到 12 分钟；校准了后，共逐条错误倒回去调发音词典。
• 连读变调毋是干焦靠模型，阮共变调规则写做前处理，代先共字串转做「已经变调的音素串」，才送入去合成。

6.2 困难二：环境音一来，识别率就落崎

拄著的困难：实验室的录音 CER 真媠，一搬去外景，有海风、有摩托车声、有庙口的锣鼓，CER 直接起三成。

阮按怎解决：

• 录音阶段就故意收「歹听」的样本，室内户外、近讲远讲拢爱有，毋通干焦收安静的。
• 前端加 VAD 断句，长音频毋规段揳，先切做一句一句。
• 建方言热词表（妈祖、红龟粿、阿母……），用文本正则共专有词兜转来。
• 最后才用家己的数据做轻量微调，毋是规个模型重训。

6.3 困难三：闽南语佮客家话切换，专家抢任务

拄著的困难：MoE 架构伫闽南语佮客家话交界彼款「半闽半客」的腔，路由会乱跳，两句内底换两款专家，听起来像两个人讲一句话。

阮按怎解决：

• 伫路由头前加一层语种判别，先判断这句话是闽南语抑是客家话，才送入去对应的专家。
• 共专家负载做监控，哪一款专家长期予人抢，就共伊的容量抑是训练数据补起来。
• 交界腔的样本独立收一包，专门训练一款「混合腔」的专家，毋通硬欲归类。

6.4 困难四：五到十分钟的声纹适配，「够用」是谁讲的

拄著的困难：项目讲五分钟就会当适配，毋过「适配好」是按怎算？MOS 分数悬，毋代表观众听着爽。

阮按怎解决：

• 定一个双轨基线：MOS 爱过 4.0，阁爱通过母语者的「一票否决」人工听审。
• 听审的时，毋知影样本是机器抑是人，避免先入为主。
• 逐摆适配了后，留一包「退版样本」，后摆欲换模型，会当随时倒转去比并。

---

七、适用边界：这套路线啥物时阵「无好用」

• 极冷门的方言、干焦几点钟录音：MoE 佮 IPA 会当降本，毋过 MOS 佮声调准确率，毋通预设伤悬。
• 强实时（直播字幕、电话客服）：母语者逐字校准做袂来，干焦会用模型加热词兜底，爱接受「三不五时走调」。
• 通用内容平台：无必要逐句台词拢做声调建模，成本佮收益袂和。
• 商用交付：专利状态、声纹授权、训练数据权属、生成内容标识——这四条无过，技术阁媠嘛毋通上线。

---

八、FAQ

Q1：闽南语语音识别用 Whisper 会使无？

A：会使做基线，毋过无建议单靠。Whisper 对象牙语佮一部份方言有小可仔泛化，闽南语声调复杂、连读变调济，捷看的现象是「字对一半、调全飞」。正确的做法：代先建家己的测试集算 CER，才加 VAD、热词、后处理，有需要才用 FunASR / Qwen3-ASR 做横向对比，毋通干焦看厂商的 Demo。

Q2：IPA 是啥物？为啥物方言 TTS 爱用它？

A：IPA（国际音标）是一套跨语言的音素表示。无仝方言用家己的拼音，真容易有歧义，代先统一映射入去 IPA，才照方言的音变规则生成目标的发音，予标注会当跨方言复用。DiaMoE-TTS 的消融实验内底，IPA 前端对降低 WER、提升 MOS 有真明显的贡献——毋过彼是学术研究，毋是「海峡姬音」的评测。

Q3：MoE 伫方言模型内底解决啥物问题？

A：MoE（混合专家）予无仝方言对无仝的专家子网络，底层共享声学佮语义的基础，上层轻量微调。好处是新方言接入的成本低、单摆推理毋免激活全部参数；代价是路由逻辑、专家负载、训练稳定度，拢爱单独调。适合「济方言并行」，无适合干焦做单一普通话的场景。

Q4：方言 TTS 讲「准确率 92%」，爱按怎判断？

A：代先问三件代志——① 测试集是家己的抑是公开的、有无噪声、盖著偌济说话人？② 92% 是 ASR 的字错率、CER，抑是 MOS 相关的指标？口径濫做伙讲就无意义。③ 有无独立的第三方盲测？项目家己讲的，干焦会当当作「声称值」，袂当当作行业基准。

Q5：个人开发者想欲保护家乡话，对佗开始？

A：毋通代先训大模型。代先做三件代志：① 揣 10–20 位母语者录 50 句日常话，签授权；② 用 FunASR/Whisper 走一遍，看错伫佗；③ 建一个开源词典佮声调标注表。哪怕干焦几百条，嘛比「直接 finetune 大模型」较有长期的价值。

---

九、总结 & 咱想问你一句

方言 AI 的难点，从来毋是「予机器开嘴讲乡音」这款浪漫的代志。

声调敢爱单独建模？语料是谁授权的？最后彼双母语者的耳仔，敢爱留入去流水线？——这三题答袂来，Demo 阁炫嘛落袂到成片。

《等你平安归来》提著奖，表面是 AIGC 短剧的热点，底蒂是这群人愿意共「闽南语七个调」当作工程问题，慢慢仔凿。

一句乡音伫海边等六十冬——机器若毋知「平安」按怎念，故事就无缘过彼个门槛。

---

参考与来源

1. 用户提供的初稿：《台青廖昌威〈等你平安归来〉获第四届上海国际 AIGC 创新大赛最佳短剧压轴大奖》，2026-09-30（赛事事实、规模、奖项、故事设定）。
2. 「海峡姬音」项目路演稿佮公开技术文章：MoE / 统一 IPA / ASR ≥92% / IPA 转写 97.82% / MOS ≥4.3 / 专利 CN202411849270.X
3. 机器之心：《清华&巨人网络首创 MoE 多方言 TTS 框架 DiaMoE-TTS》（学术路线对照，无共海峡姬音背书），2025-10。

 

#方言语音识别# #闽南语TTS# #AIGC短剧# #低资源语言AI# #IPA音素建模#

#闽南语AI# #方言保护# #语音合成实战#

​