摘要：上篇(webRTC中语音降噪模块ANS细节详解(三))讲了噪声的初始估计方法以及怎么算先验SNR和后验SNR。 本篇开始讲基于带噪语音和特征的语音和噪声的概率计算方法和噪声估计更新以及基于维纳滤波的降噪。 一， 带噪语音和特征条件下的语音概率 先看怎么算带噪语音和特征条件下的语音概率。其中会用到先前
阅读全文
随笔分类 - 传统音频
摘要：上篇(webRTC中语音降噪模块ANS细节详解(二) )讲了ANS的处理流程和语音在时域和频域的相互转换。本篇开始讲语音降噪的核心部分，首先讲噪声的初始估计以及基于估计出来的噪声算先验信噪比和后验信噪比。 1，初始噪声估计 webRTC中ANS的初始噪声估计用的是分位数噪声估计法（QBNE，Quan
阅读全文
摘要：上篇(webRTC中语音降噪模块ANS细节详解(一))讲了维纳滤波的基本原理。本篇先给出webRTC中ANS的基本处理过程，然后讲其中两步（即时域转频域和频域转时域）中的一些处理细节。 ANS的基本处理过程如下图1： 图1 从图1可以看出，处理过程主要分6步，具体如下： 1） 把输入的带噪信号从时域
阅读全文
摘要：ANS(adaptive noise suppression) 是webRTC中音频相关的核心模块之一，为众多公司所使用。从2015年开始，我在几个产品中使用了webRTC的3A(AEC/ANS/AGC)模块。以前仅仅是使用，对其中的算法原理只是初步了解。近半年来，我利用业余时间在看着《语音增强：理
阅读全文
摘要：上篇（基于sinc的音频重采样（一）：原理）讲了基于sinc方法的重采样原理，并给出了数学表达式，如下： (1) 本文讲如何基于这个数学表达式来做软件实现。软件实现的细节很多，这里主要讲核心部分。函数srcUD()和filterUD()就是实现的主要函数（这两个函数是在源码基础上作了一定的改动，核心
阅读全文
摘要：我在前面的文章《音频开源代码中重采样算法的评估与选择 》中说过sinc方法是较好的音频重采样方法，缺点是运算量大。https://ccrma.stanford.edu/~jos/resample/ 给出了sinc方法的原理文档和软件实现。以前是使用这个算法，没太关注原理和实现细节。去年（2020年）
阅读全文
摘要：当音频的声道数多于一个时，音频数据的存放有两种格式，即交织的（interleave）和非交织的（non-interleave）。以最常见的双声道为例，交织和非交织的音频数据存放如下图： 上图中L表示左声道数据，R表示右声道数据，整数1、2等表示第几个采样点，这样L1就表示左声道的第一个采样点数据。从
阅读全文
摘要：又被“过运营商语音认证”虐了一回！虐的伤痕累累、疲惫不堪！过程是痛苦的，但结果是美好的，收获也是挺多的！既然用了“又”，那以前肯定被虐过。是的，没错。那是7年多前（2011年底），同样是在秋冬，不过一个是2011年底，一个是2018年底。同样是在芯片公司， 不过一个是老牌外企，一个是本土新秀。当时我
阅读全文
摘要：本人硕士毕业后的头几年是主要在通信设备商（他们研发生产通信设备（如基站）卖给电信运营商（如中国移动））工作，那时是通信业的黄金十年，单是通信设备商就有很多家，国内有华为、中兴、大唐、烽火等，国外有爱立信、诺基亚、西门子、摩托罗拉、朗讯、北电、阿尔卡特等。这里面的有些公司现在刚毕业的可能都没听说过，因
阅读全文
摘要：上篇（webRTC中音频相关的netEQ（四）：控制命令决策）讲了MCU模块是怎么根据网络延时、抖动缓冲延时和反馈报告等来决定给DSP模块发什么控制命令的。DSP模块根据收到的命令进行相关处理，处理简要流程图如下。 从上图看出如果有语音包从packet buffer里取出来先要做解码得到PCM数据，
阅读全文
摘要：上篇（webRTC中音频相关的netEQ（三）：存取包和延时计算）讲了语音包的存取以及网络延时和抖动缓冲延时的计算，MCU也收到了DSP模块发来的反馈报告。本文讲MCU模块如何根据网络延时、抖动缓冲延时和反馈报告等决定发给DSP模块的控制命令， 好让DSP模块先对取出的语音包做解码处理（如果有的话）
阅读全文
摘要：上篇（webRTC中音频相关的netEQ（二）：数据结构）讲了netEQ里主要的数据结构，为理解netEQ的机制打好了基础。本篇主要讲MCU中从网络上收到的RTP包是怎么放进packet buffer和从packet buffer里取出来，以及网络延时值（optBufLevel）和抖动缓冲延时值（b
阅读全文
摘要：上篇（webRTC中音频相关的netEQ（一）：概述）是netEQ的概述，知道了它主要是用于解决网络延时抖动丢包等问题提高语音质量的，也知道了它有两大单元MCU和DSP组成。MCU 主要是把从网络收到的语音RTP包放进packet buffer内，同时也会根据计算出来的网络延时和抖动缓冲延时以及DS
阅读全文
摘要：上篇文章（语音通信中终端上的时延(latency)及减小方法）说从本篇开始会切入webRTC中的netEQ主题，netEQ是webRTC中音频技术方面的两大核心技术之一（另一核心技术是音频的前后处理，包括AEC、ANS、AGC等，俗称3A算法）。webRTC是Google收购GIPS重新包装后开源出
阅读全文
摘要：时延是语音通信中的一个重要指标，当端到端(end2end)的时延（即one-way-delay,单向时延）低于150Ms时人感觉不到，当端到端的时延超过150Ms且小于450Ms时人能感受到但能忍受不影响通话交流，当端到端的时延大于1000Ms时严重影响通话交流，用户体验很差。同时时延也是语音方案过
阅读全文
摘要：我在前面的文章（Android智能手机上的音频浅析）中说过Android手机上有一块专门用于音频处理的DSP，它的特点是频率低（一般几百MHZ）、内部memory小（通常不超过100k word）。要想让Audio DSP上放下更多的内容以及能流畅的运行，要有一些应对措施。今天就聊聊这些措施。 1，
阅读全文
摘要：语音通信从最初的只有有线通信变成后来的有线通信与无线通信（移动通信）的竞争，当移动语音通信价格下来后有线语音通信明显处于逆势。如今移动语音通信的竞争对手是OTT（On The Top）语音，OTT语音是互联网厂商提供的服务，一般免费，如微信语音。目前语音通信技术上就分成了两大阵营：传统通信阵营和互联
阅读全文
摘要：本人从事音频软件开发10+年，既开发过voice相关的，又开发过music相关的，但大多数还是开发voice相关的。掐指一算到现在在通信终端上开发过的语音解决方案共有五套，它们既有有线通信的，又有无线通信的；既有在上层开发的，又有在底层开发的；既有在ARM上开发的，又有在DSP上开发的，总之各有特色
阅读全文
摘要：上一篇文章（Android智能手机上的音频浅析）说本篇将详细讲解Android智能手机中各种音频场景下的音频数据流向，现在我们就开始。智能手机中音频的主要场景有音频播放、音频录制、语音通信等。不同场景下的音频数据流向有很大差异，即使是同一场景，在不同的模式下音频数据流向也有所不同。 1，音频播放 A
阅读全文
摘要：手机可以说是现在人日常生活中最离不开的电子设备了。它自诞生以来，从模拟的发展到数字的，从1G发展到目前的4G以及不久将来的5G，从最初的只有唯一的功能（打电话）发展到目前的全功能，从功能机（feature phone）发展到智能机（smart phone），可谓变化巨大。对于手机上的音频来说，刚开始
阅读全文
浙公网安备 33010602011771号