davidtym - 博客园

webRTC中语音降噪模块ANS细节详解(三)

摘要：上篇(webRTC中语音降噪模块ANS细节详解(二) )讲了ANS的处理流程和语音在时域和频域的相互转换。本篇开始讲语音降噪的核心部分，首先讲噪声的初始估计以及基于估计出来的噪声算先验信噪比和后验信噪比。 1，初始噪声估计 webRTC中ANS的初始噪声估计用的是分位数噪声估计法（QBNE，Quan 阅读全文

posted @ 2021-11-02 08:09 davidtym 阅读(5057) 评论(10) 推荐(1)

webRTC中语音降噪模块ANS细节详解(二)

摘要：上篇(webRTC中语音降噪模块ANS细节详解(一))讲了维纳滤波的基本原理。本篇先给出webRTC中ANS的基本处理过程，然后讲其中两步（即时域转频域和频域转时域）中的一些处理细节。 ANS的基本处理过程如下图1：图1 从图1可以看出，处理过程主要分6步，具体如下： 1）把输入的带噪信号从时域阅读全文

posted @ 2021-10-22 08:10 davidtym 阅读(4257) 评论(8) 推荐(0)

webRTC中语音降噪模块ANS细节详解(一)

摘要： ANS(adaptive noise suppression) 是webRTC中音频相关的核心模块之一，为众多公司所使用。从2015年开始，我在几个产品中使用了webRTC的3A(AEC/ANS/AGC)模块。以前仅仅是使用，对其中的算法原理只是初步了解。近半年来，我利用业余时间在看着《语音增强：理阅读全文

posted @ 2021-10-11 08:09 davidtym 阅读(5677) 评论(2) 推荐(5)

基于混合模型的语音降噪效果提升

摘要：上篇文章（基于混合模型的语音降噪实践）实践了基于混合模型的算法来做语音降噪，有了一定的降噪效果。本篇说说怎么样来提升降噪效果。算法里会算每个音素的高斯模型参数，也会建一个音素分类的神经网络模型。这些都是依赖于音素对齐的，音素对齐做的越好，每个音素的高斯模型越准确，音素分类模型越收敛准确率越高，从而阅读全文

posted @ 2021-07-19 08:03 davidtym 阅读(1429) 评论(0) 推荐(0)

基于混合模型的语音降噪实践

摘要：前面的文章（语音降噪论文“A Hybrid Approach for Speech Enhancement Using MoG Model and Neural Network Phoneme Classifier”的研读）梳理了论文的思想。本篇就开始对其实践，主要分以下几步：1，基于一个语料库算阅读全文

posted @ 2021-06-18 08:01 davidtym 阅读(1220) 评论(0) 推荐(0)

语音降噪论文“A Hybrid Approach for Speech Enhancement Using MoG Model and Neural Network Phoneme Classifier”的研读

摘要：最近认真的研读了这篇关于降噪的论文。它是一种利用混合模型降噪的方法，即既利用了生成模型（MoG高斯模型），也利用了判别模型（神经网络NN模型）。本文根据自己的理解对原理做了梳理。论文是基于“Speech Enhancement Using a Mixture-Maximum Model”提出的Mi 阅读全文

posted @ 2021-05-17 08:13 davidtym 阅读(1380) 评论(0) 推荐(3)

基于sinc的音频重采样（二）：实现

摘要：上篇（基于sinc的音频重采样（一）：原理）讲了基于sinc方法的重采样原理，并给出了数学表达式，如下： (1) 本文讲如何基于这个数学表达式来做软件实现。软件实现的细节很多，这里主要讲核心部分。函数srcUD()和filterUD()就是实现的主要函数（这两个函数是在源码基础上作了一定的改动，核心阅读全文

posted @ 2021-04-19 08:27 davidtym 阅读(1846) 评论(0) 推荐(2)

基于sinc的音频重采样（一）：原理

摘要：我在前面的文章《音频开源代码中重采样算法的评估与选择》中说过sinc方法是较好的音频重采样方法，缺点是运算量大。https://ccrma.stanford.edu/~jos/resample/ 给出了sinc方法的原理文档和软件实现。以前是使用这个算法，没太关注原理和实现细节。去年（2020年）阅读全文

posted @ 2021-03-15 09:21 davidtym 阅读(4474) 评论(2) 推荐(0)

深度学习中神经网络模型的量化

摘要：深度学习神经网络模型中的量化是指浮点数用定点数来表示，也就是在DSP技术中常说的Q格式。我在以前的文章（Android手机上Audio DSP频率低 memory小的应对措施）中简单讲过Q格式，网上也有很多讲Q格式的，这里就不细讲了。神经网络模型在训练时都是浮点运算的，得到的模型参数也是浮点的。通阅读全文

posted @ 2021-02-22 07:59 davidtym 阅读(3329) 评论(1) 推荐(1)

嵌入式设备上卷积神经网络推理时memory的优化

摘要：以前的神经网络几乎都是部署在云端（服务器上），设备端采集到数据通过网络发送给服务器做inference（推理），结果再通过网络返回给设备端。如今越来越多的神经网络部署在嵌入式设备端上，即inference在设备端上做。嵌入式设备的特点是算力不强、memory小。可以通过对神经网络做量化来降load和阅读全文

posted @ 2021-02-07 14:56 davidtym 阅读(946) 评论(0) 推荐(0)

谈谈音频开发

公告