《等你平安归来》阿嬷的声调袂走精：闽南语TTS用MoE拆专家，5000万字语料按声调校准

 

《等你平安归来》阿嬷的声调袂走精：闽南语TTS用MoE拆专家，5000万字语料按声调校准

从 MoE 专家模块到声乐语料与数据合规——一个 AIGC 获奖项目的方言语音工程化拆解

摘要：方言 TTS 是低资源语音任务的硬骨头：语料稀缺、声调辨义、声乐标注三座大山。本文以获上海国际 AIGC 创新大赛奖项的 60 集闽南语短剧配音项目为样本，拆解 MoE 专家架构＋统一 IPA 编码的架构选型、方言标注语料的合规体系，并沉淀一套可直接照抄的方言语音 POC 六步流程，供语音方向开发者收藏、复用。

#方言语音# #语音合成# #闽南语# #MoE架构# #AIGC#

---

咱常讲：离乡毋离腔。可现实是，会讲方言的人一年比一年少，机器又讲不地道——这条断层，正好卡在语音技术最难的低资源地带。

2026 年 9 月 30 日，第四届上海国际 AIGC 创新大赛颁奖典礼在上海嘉定南翔举行。60 集竖屏短剧《等你平安归来》获 AI 短剧赛道“最佳短剧剧本奖”，编剧为上海影宴数码科技有限公司执行总裁廖昌威，剧中全部闽南语对白由其创办的“海峡姬音”方言 AI 创作引擎提供幕后配音技术底座（据大赛公开信息）。本文不聊颁奖本身，把这个项目当成一个技术案例来拆：方言语音合成难在哪、怎么解、怎么合规落地。

TL;DR

• 方言 TTS 的难点不在“认字”，在低资源语料＋声调辨义＋声乐标注三座大山。
• MoE 专家架构＋统一 IPA 编码是可行解：新方言只训专家模块，据团队资料，接入周期约 2–4 周、训练量降约 80%。
• 据公开技术文章披露，5–10 分钟母语者音频即可完成声纹适配（Voiceprint Adaptation）；合成之后仍须母语者逐字校准。
• 数据合规三条底线：采录即签约、引用即授权、委托即锁定。
• 文末附方言语音 POC 六步流程，可直接照抄开跑。

这个奖是怎么来的

一句话结论：这个奖颁给了“文本判断”，而它的技术底座值得单独拆出来看。

赛事全称“2026 腾讯 AI 特别呈现·影像进化论”第四届上海国际 AIGC 创新大赛，设 AI 影视、短剧、漫剧、游戏、营销五大赛道；经版权核验有效作品 1108 件，106 件进入终评。AI 短剧赛道分设剧本组、成片组且只能择一申报——也就是说，剧本奖在文本这条线上单独评出，当晚五项压轴大奖中剧本类仅此一项（据大赛公开信息）。

大赛评委、中国美术学院电影学院杨树在现场表示，制作精度普遍提升的赛场上，作品还是要深挖思想深度、聚焦创作本身——放在工程视角读，就是当“做得出来”不再是门槛，“判断得对不对”成了稀缺能力（为其现场观点，不代表本文判断）。

市场侧一个参照：方言电影《给阿嬷的情书》全球票房据团队路演资料援引已突破 21 亿元——方言内容不是情怀的孤岛，是真金白银的需求。

技术解读：方言 TTS 的三座大山

一句话结论：通用语音模型“读得出方言字”，但“说不出地道乡音”，差距在三个层面。

第一座山：低资源语料。方言“五里不同音”、口音分支繁杂、采集困难，公开可用标注语料与普通话完全不在一个量级。

第二座山：声调辨义。闽南语有七到八个声调，普通话只有 4 个。声调在方言里直接承载词义——同一个音节，调错了词就变了。把普通话声调模型直接迁移，必“串味”。

声调对照：普通话 4 声 vs 闽南语 7–8 声（调值以五度标记法表示，闽南语以厦门腔通行读音为例，不同腔口存在差异）

语言	调类	调值	例字	词义差异示例
普通话	阴平（第一声）	55	妈 mā	高平调，调型平稳，不承载辨义对立
普通话	阳平（第二声）	35	麻 má	与“妈”仅靠调型区分词义
普通话	上声（第三声）	214	马 mǎ	降升调，与“麻”构成最小对立对
普通话	去声（第四声）	51	骂 mà	全降调，四声共用一个音节承载四种词义
闽南语	阴平	44	诗 si	与“死”“四”等同音节不同调者构成辨义对立
闽南语	阳平	24	时 si	调型上扬，与阴平形成最小对立
闽南语	上声	53	死 si	高降调，调值接近普通话去声，易被误判
闽南语	阴去	21	四 si	低降调，与上声仅差调高，模型易混
闽南语	阳去	22	是 si	低平调，与阴去调型相近，需靠调值细分
闽南语	阴入	32	识 sit	入声短促带塞音尾，时长与调型双重约束
闽南语	阳入	4	实 sit	高短调，与阴入靠调高与塞音尾区分

错调即错义的具体例子：闽南语中同音节“si”，读阴平（44）是“诗”，读上声（53）是“死”，读阴去（21）是“四”，读阳去（22）是“是”——四个词只靠声调区分。若模型沿用普通话四声的调型去套，把高降调（53）误合成低降调（21），“伊讲的诗”就可能被听成“伊讲的死”，语义直接跑偏；再如入声字“识”（sit，32）若丢掉塞音尾、拉长成舒声，听感上会滑向另一个词。这正是方言 TTS 必须为每个声调单独建模、并在评测阶段用“同音不同调”最小对立对做盲听的原因。

第三座山：声乐标注。能朗读不等于能唱。既懂唱腔、旋律、情感，又能做数据标注的方言专家极度稀缺；而“带旋律、唱腔、情感标注的声乐语料”，据团队资料观察，目前业内布局者寥寥——多数团队停留在识别与朗读端。

阿嬷的话，机器过去学袂会——毋是模型无够大，是声调遮的坎，无人替它跨。

术语速查表

文中反复出现的几个术语，先在这里统一口径，后文不再逐一解释：

术语	英文全称	一句话释义
MoE	Mixture of Experts	混合专家架构，把一个大模型拆成多个独立“专家”子模块，按输入内容路由唤醒，只激活需要的部分；本文统一简称“MoE 专家架构”。
IPA	International Phonetic Alphabet	国际音标，用一套统一符号记录各语言发音的编码体系，本文用它把不同方言拉进同一音素空间。
MOS	Mean Opinion Score	平均意见分，由听测者对合成语音自然度打分后取平均，是语音合成质量最常用的主观评测指标。
声纹适配	Voiceprint Adaptation	用少量目标说话人音频调整模型，让合成音色贴近该说话人，本文口径为 5–10 分钟母语者音频。
语音克隆	Voice Cloning	泛指用少量音频复刻某个说话人音色的技术统称；本文中的“声纹适配”是它在工程落地环节的具体步骤，“方言语音克隆”则指面向方言场景的克隆方案，三者是同一技术链条上的不同表述，后文统一用“声纹适配”指代具体适配动作。
声调辨义	Tonal Distinction	靠声调高低升降区分词义的现象，闽南语 7–8 个声调直接承载词义，调错即词义跑偏。
最小对立对	Minimal Pair	两个词仅有一个音素或声调不同、词义却不同，如闽南语“诗 si”与“死 si”，是评测声调辨义的核心样本。
声码器	Vocoder	把模型输出的声学特征还原成可播放波形的最后一环，决定合成音频的音质与细节。

口径说明：以上释义为本文语境下的简化表述，具体实现细节以各技术文档与论文定义为准。

开发者影响：谁需要这套能力

• 智能客服、语音导航、智能硬件团队：目标用户里有方言人群时，普通话 TTS 的“机翻味”直接影响体验留存。
• 文旅、非遗、博物馆数字化团队：方言本身就是内容主体，绕不开。
• 出海业务团队：闽南语、客家话、粤语天然覆盖东南亚与全球华人社群，方言本地化是“AI＋文化出海”里尚未被占满的环节。

立项提醒：方言数字化项目投入大、周期长、成果难以复制推广，先算账再动工（据团队路演资料）。

解决方案一：架构层——MoE 拆专家＋统一 IPA＋声调单独建模

一句话结论：与其训一个“万能方言模型”，不如让每门方言有专属专家，新语种只付边际成本。

案例引擎（海峡姬音）的公开技术路线可归纳为三层：

层级	做法	效果（口径见文末说明）
底层架构	MoE 专家架构（70B 混合专家），把大模型拆成独立“方言小专家”，按需唤醒	上新一门方言约 2–4 周，训练量降约 80%，边际成本递减（据团队资料）
音素层	统一 IPA 国际音标编码，从音素层重建发音空间	任意低资源语种快速适配，避免通用 TTS 改方言版的串味
声调层	为闽南语七到八个声调单独建模	声调辨义准确，词义不跑偏

MoE 方言专家模块架构图（示意，据公开技术路线归纳）：

flowchart TD A[输入文本] --> B[统一IPA编码] B --> C{路由分发 Router} C -->|闽南语| D1[闽南语专家模块] C -->|粤语| D2[粤语专家模块] C -->|客家话| D3[客家话专家模块] D1 --> E[声调建模层] D2 --> E D3 --> E E --> F[声码器 Vocoder] F --> G[音频输出]

读图说明：文本先进统一 IPA 编码层，把各方言拉进同一套音素空间，避免“普通话模型改方言”的串味；路由分发按目标方言唤醒对应专家模块，闽南语、粤语、客家话各走各的参数，互不干扰，上新语种只加一个专家；随后统一进入声调建模层，为七到八个声调单独建模，保证同音不同调不跑义；最后由声码器合成音频输出。整条链路的关键是“共享音素底座＋专家并行＋声调收口”，机器负责产能，母语者负责校准底线。

关键指标（据公开技术文章披露，未经独立测试验证）：

指标	数值
方言识别准确率	≥92%
音素转写准确率	97.82%
声纹适配 MOS	≥4.3
声纹适配所需音频	5–10 分钟母语者音频
核心专利	“方言语音克隆模型训练方法”（CN202411849270.X），据披露已获授权

工程组织上同样值得借鉴：这次创作没有把 AI 当生成按钮，而是当一支剧组用——结构、人物、场景、方言语音分头推进，最后由人收口定稿；合成完的音轨，还要母语者逐字校准。机器负责产能，人负责底线。

 

方言 TTS 三条技术路线对比（横向选型参考，周期与成本为工程经验口径，具体以自有 POC 实测为准）：

对比维度	通用 TTS 微调	单一方言专用模型	MoE 专家＋统一 IPA＋声调单独建模
适配周期	短，1–2 周即可出 demo，但调优到可发布往往反复返工	中等，单方言约 1–2 个月，需从零搭语料与声调体系	首门方言约 1–2 个月打底，之后上新方言约 2–4 周（据团队资料）
新增方言边际成本	低门槛起步，但每加一门都要重调，成本线性叠加且效果不稳	高，每门方言等于重做一个项目，语料、训练、评测全量重来	低，只训并挂载对应专家模块，训练量降约 80%，边际成本递减
声调辨义能力	弱，沿用普通话 4 声调型，闽南语 7–8 声易“串味”、错调即错义	较强，可为单方言定制声调模型，但换方言需重做	强，声调层单独建模，同音不同调不跑义，且可跨方言复用
声乐扩展性	差，朗读模型难迁移到唱腔，旋律与情感标注无从承载	一般，可针对单方言补声乐语料，但复用性差	较好，音素底座与声调层可复用，另建声乐标注体系即可扩展
适用团队规模	个人或 2–3 人小团队，快速验证单一场景	中型团队，长期只做一门方言、追求单点极致	中大型团队或多方言产品线，需架构、语料、标注、合规协同

选型建议：先看目标，再看家底。只做单一方言、场景固定、团队三五个人，通用 TTS 微调加母语者校准就能跑通最小闭环，别一上来就上重架构；若长期只深耕一门方言、追求单点极致体验，单一方言专用模型更直接，但要接受换方言等于重做。真正需要多方言产品线、且对声调辨义和后续声乐扩展有硬要求的团队，才值得投入 MoE 专家＋统一 IPA＋声调单独建模——它的价值不在首门方言，而在第二门、第三门方言的边际成本。无论选哪条路，都建议先用 100–300 条真实录音做小样本 POC，用“同音不同调”最小对立对做盲听评测，再决定是否加码。

解决方案二：数据与合规层——标注语料＋三条底线＋标识义务

一句话结论：方言项目里，原始录音不值钱，带标注的合规语料体系才值钱。

语料规模：据团队资料，累计标注语料约 5000 万字，一手采录为主、公开授权为辅，母语者逐条校验。

合规三条底线：

1. 采录即签约——每段原声提前签授权同意书；
2. 引用即授权——外部素材只用明确开放授权资源；
3. 委托即锁定——客户项目以合同约定数据权责。

生成内容标识：《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日施行，AI 生成内容须做显式＋隐式标识——方言内容创作属于典型的合成场景，标识义务别漏。

声乐语料四要素：旋律结构、地方唱腔、情感标注、方言声乐原始素材。原始音频只是外壳，层层校验的声乐标注体系才是难复制的资产。

知识产权：据团队资料，相关知识产权累计 276 项（含专利、软著、商标），语料成果另作数据知识产权确权登记。

对开发者的启示：立项预算里，数据采集只是零头，标注与合规才是大头。

最小 POC 流程（6 步，可收藏）

步数无多，一步拢省袂掉。

1. 收语料：目标方言收集 100–300 条真实录音，覆盖不同说话人、口音分支、使用场景。
2. 签授权：同步签授权同意书（采录即签约），别等模型训完再补法律手续。
3. 小样本适配：先用 5–10 分钟母语者音频做声纹适配，验证基础音色。
4. 人耳评测：MOS 评分＋母语者盲听，重点测声调辨义词对（同音不同调），不能只看 ASR 转写。
5. 热词与校准：加热词表、文本后处理，母语者逐字校准高频错调。
6. 再决策：达标→扩语料微调；有唱腔／歌曲需求→另建声乐标注体系，别指望朗读模型迁移。

实践经验

据团队路演资料，行业现状可作踩坑对照：方言内容高度依赖人工制作，成本高、周期长、专业人才稀缺；通用大模型大多只能识别方言文字，难以还原地道语音，更无法生成可演唱的方言歌曲；非遗数字化项目投入大、周期长、成果难以复制推广。本文案例的做法——专家模块化＋母语者闭环校准——正是对这三个坑的针对性回应。

落到具体环节，几个反复出现的难点值得提前预判：

• 口音分支覆盖：同一方言内部差异大，语料若集中在单一腔口，模型对其他分支的泛化会明显下降，采集阶段就要按分支配额。
• 录音质量：一手采录环境不可控，底噪与设备差异会直接抬高标注成本，需在采录端先做质检再入库。
• 标注成本：声调标注依赖母语者，人力是瓶颈，标注规范与抽检机制要在开工前定好。
• 校准人力：合成后逐字校准无法省略，需按产出量预留母语者工时。

适用边界

• 通用 TTS 直接迁移到闽南语等方言，声调辨义问题基本无解，不要高估“换个音色”的效果。
• 方言歌曲、唱腔合成比朗读难一个量级，需专门声乐语料与标注体系，不是同一个项目。
• 商业 API 方言覆盖差异大，选型前逐家确认目标方言支持情况，必要时并行 POC。
• 本文技术指标为团队自披露口径（第三方转述级），商业决策前请以自有数据复测。

FAQ

Q1：方言 TTS 和普通话 TTS 最大的区别是什么？ A：区别在声调建模。普通话 4 声、闽南语 7–8 声，且方言声调直接承载词义；普通话模型迁移过去会串味，必须从音素层为每个声调单独建模。

Q2：克隆一个方言声纹需要多少音频？ A：据公开技术文章披露，5–10 分钟母语者音频即可完成声纹适配。注意这只是音色适配，达到可发布质量仍需母语者逐字校准。

Q3：MoE 架构对上新方言有什么实际好处？ A：大模型拆成独立方言专家后，新增方言只需训练并挂载对应模块。据团队资料，接入周期约 2–4 周、训练量降约 80%，训练数据量与算力成本同步下降，适合需要快速扩展方言产品线的团队。

Q4：做方言项目，数据合规最容易漏什么？ A：漏授权链与标识义务。采录要签授权同意书、引用要确认开放授权、委托要用合同锁定权责；同时 AI 生成内容按《人工智能生成合成内容标识办法》做好显式与隐式标识，否则后期商业化与分发都会卡住。

Q5：方言音乐生成和方言识别是同一件事吗？ A：不是。头部语音厂商在识别、朗读端已有布局，但“带唱腔的方言声乐生成”据团队资料观察仍属少见环节——难点在声乐语料四要素与标注人才稀缺。只做识别可复用通用 ASR；要做演唱，必须自建声乐标注体系。

 

参考信源

• 第四届上海国际 AIGC 创新大赛颁奖典礼公开信息（2026 年 9 月 30 日，上海嘉定南翔）
• “海峡姬音”技术指标与专利信息（公开技术文章披露）
• 团队路演资料（MoE 架构、语料体系、合规底线、市场观察；规划口径）
• 《人工智能生成合成内容标识办法》（2025 年 9 月 1 日施行）
• 专利 CN202411849270.X，以国家知识产权局检索结果为准
• 中国互联网络信息中心（CNNIC）《中国互联网络发展状况统计报告》，用于网民规模与网络内容消费趋势参照
• 工业和信息化部关于人工智能产业与算力基础设施的相关公开统计与政策文件
• 国家知识产权局专利检索及分析系统，用于专利法律状态核验

关于项目

海峡姬音（StraitsVoice AI）：深耕乡音、专注方言的 AI 创作引擎，覆盖识别、语音生成、方言音乐与影像内容创作全链路，服务政企文旅、博物馆、非遗机构及有方言本地化需求的企业。

---

TTS｜语音识别｜人工智能｜闽南语｜MoE｜方言语音｜AIGC

#方言语音# #语音合成# #闽南语# #MoE架构# #AIGC#