技术文章

根据您的要求对文章内容进行了分析，文章内容确实讨论了计算机技术，特别是语音合成的模型集成框架和系统架构。以下是根据您的所有准则生成的内容。

模型多样性带来的挑战

类似Alexa这样的语音助手通常拥有多种不同的语音合成器，它们在表现力、个性、语言和说话风格等属性上各不相同。支撑这些不同应用的机器学习模型可能拥有完全不同的架构，将这些架构集成到单一的语音服务中，可能是一个耗时且具有挑战性的过程。

为了使这一过程更简单、更快捷，某中心的文本转语音小组开发了一个通用的模型集成框架，能够以快速且可扩展的方式定制生产语音模型。

目前最先进的语音模型通常使用两个大型神经网络来从文本输入合成语音。第一个网络称为声学模型，它以文本作为输入，生成梅尔频谱图——一种表示语音音高和能量等声学参数随时间变化的图像。第二个网络称为声码器，它以梅尔频谱图为输入，生成语音的音频波形作为最终输出。

虽然已发布支持多种说话风格的通用声码器模型架构，但仍需使用不同的声学模型架构来生成这种多样化的说话风格。

声学模型最常见的架构依赖于注意力机制，该机制学习输入文本的哪些元素与输出频谱图的当前时间片（或称“帧”）最相关。通过这种机制，网络隐式地对文本不同部分的语音持续时间进行建模。

该模型还使用“教师强迫”技术，即将先前生成的语音帧用作输入来产生下一帧。虽然这种架构可以生成富有表现力且听起来自然的语音，但它容易出现可懂度错误，例如含糊不清、丢词或重复单词，并且错误很容易从一帧累积到下一帧。

更现代的架构通过显式地建模文本块的持续时间并并行生成语音帧来解决这些问题，这比依赖先前生成的帧作为输入更加高效和稳定。为了对齐文本和语音序列，模型只需根据外部持续时间模型的指示，对文本块（其表示向量）进行“上采样”或重复，以对应所需的语音帧数。

在不同场景（如Alexa问答、儿童故事讲述和智能家居自动化）中使用的复杂TTS模型的持续演进，催生了需要一个能够处理所有这些模型的可扩展框架。

集成挑战

为了将声学模型集成到生产环境中，需要一个能够接收输入文本话语并返回梅尔频谱图的组件。第一个难点是语音通常是按顺序分块生成的，而不是一次性全部合成的。为了最小化延迟，框架应尽快返回数据。一个将整个模型包装在代码中并通过单个函数调用处理所有内容的简单方案，其速度将是无法接受的。

另一个挑战是调整模型以适配各种硬件加速器。例如，为了利用高性能的AWS Inferentia运行时，需要确保所有张量具有固定大小（在模型编译阶段一次性设定）。这意味着需要：

1. 添加逻辑，将较长的话语分割成适合特定输入大小（取决于模型）的较小块；
2. 添加逻辑以确保适当的填充；
3. 决定哪些功能应由模型直接处理，哪些应由集成层处理。

当希望在通用GPU上运行相同模型时，可能不需要这些更改，并且如果框架能够轻松地在不同上下文之间切换将非常有用。因此，我们将TTS模型解耦为一组更专门的集成组件，这些组件能够执行所有必需的逻辑。

集成组件

集成层将模型封装在一组能够将输入话语转换为梅尔频谱图的组件中。由于模型通常分两个阶段运行——预处理数据和按需生成数据——因此使用两种类型的组件很方便：

• SequenceBlock：接收一个输入张量并返回一个转换后的张量（输入可以是应用另一个SequenceBlock的结果）。
• StreamableBlock：按需生成数据（例如帧）。作为输入，它接收另一个StreamableBlock的结果（块可以形成流水线）和/或由SequenceBlock生成的数据。

这些简单的抽象为创建声学模型的变体提供了极大的灵活性。

例如，一个声学模型可以由以下部分构建：

1. 两个编码器（SequenceBlocks），将输入文本嵌入转换为一维表示张量，一个用于编码文本，一个用于预测持续时间；
2. 一个上采样器（StreamableBlock，以编码器的结果作为输入），根据编码器返回的数据创建中间的话语长度序列；
3. 一个解码器（StreamableBlock），生成梅尔频谱图帧。

整个模型被封装在一个名为StreamablePipeline的专用StreamableBlock中，它恰好包含一个SequenceBlock和一个StreamableBlock。其中，SequenceBlockContainer是一个专门的SequenceBlock，由一组能够运行神经网络编码器的嵌套SequenceBlocks组成；StreamableStack是一个专门的StreamableBlock，它对上采样器的输出进行解码并创建梅尔频谱图帧。

集成框架确保所有组件按正确顺序运行，并且根据组件的特定版本，允许使用各种硬件加速器。

集成层

声学模型是作为一个名为“addon”（插件）提供的。一个addon包含导出的神经网络（每个网络由一组命名的符号和参数表示，如编码器、解码器等）以及配置数据。其中一个名为“stack”的配置属性，指定了应如何将集成组件连接在一起以构建可工作的集成层。以下是描述上述架构的stack属性代码示例：

'stack'=[
    {
        'type' : 'StreamablePipeline',
        'sequence_block' : {'type' : 'Encoders'},
        'streamable_block' : {
            'type': 'StreamableStack',
            'stack' : [
                {'type' : 'Upsampler'},
                {'type' : 'Decoder'}
            ]
        }
    }
]

此定义将创建一个由StreamablePipeline组成的集成层，其中包含：

• Addon中指定的所有编码器（框架将自动创建所有必需的组件）；
• 一个上采样器，为解码器生成中间数据；
• Addon中指定的解码器，生成最终帧。

JSON格式允许进行轻松的更改。例如，可以创建一个在特定硬件加速器上并行运行所有序列块的专用组件，并将其命名为CustomizedEncoders。在这种情况下，配置规范中唯一的更改就是将名称“Encoders”替换为“CustomizedEncoders”。

使用具有额外诊断或数字信号处理效果的组件运行实验也变得很简单。新组件的唯一要求是扩展两个通用抽象之一；除此之外，没有其他限制。根据框架设计，即使将一个StreamableBlock替换为整个嵌套的序列到序列堆栈也是完全可以的。

该框架已用于生产环境。它是最近成功集成最先进的TTS架构（无注意力机制）和遗留模型的重要支柱。

致谢：Daniel Korzekwa
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码