完整教程：FFmpeg开发笔记（十三）：ffmpeg采集麦克风音频pcm重采样为aac录音为AAC文件

若该文为原创文章，转载请注明原文出处
本文章博客地址：https://hpzwl.blog.csdn.net/article/details/153191535
各位读者，知识无穷而人力有穷，要么改需求，要么找专业人士，要么自己研究

长沙红胖子Qt（长沙创微智科）博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV、OpenGL、ffmpeg、OSG、单片机、软硬结合等等）持续更新中…

FFmpeg和SDL开发专栏（点击传送门）

上一篇：《FFmpeg开发笔记（十二）：ffmpeg音频处理、采集麦克风音频录音为WAV》
下一篇：敬请期待…

前言

  Ffmpeg音频重采样是关键核心技术，上一篇是pcm，基于上一篇的基础上进行pcm转aac，进而录制保存为aac文件。

关于音频概念

  请查看上一篇《FFmpeg开发笔记（十二）：ffmpeg音频处理、采集麦克风音频录音为WAV》的“音频”章节。
  建议此两篇交叉阅读加深概念原理的理解。

录音转码重采样编码流程

  FFmpeg 通过 “输入设备→采集packet→将pcm的packet解码为pcm原始数据帧decframe→将decframe重采样为aac原始数据帧encframe→编码为aac的packet→封装文件” ，这块复杂一些。将音频源的信号转化为目标音频文件，具体流程如下：

步骤一：设备探测与选择

  FFmpeg 首先通过操作系统的音频接口（如 Windows 的 DirectSound、Linux 的 ALSA、macOS 的 Core Audio）探测可用的音频输入设备，用户通过命令行参数指定要使用的设备（如-f dshow -i audio=“麦克风阵列”）。

步骤二：音频采集与原始压缩数据包获取AVPacket

  选定设备后，FFmpeg 按照指定的采样参数（采样率、位深、声道数）从设备中读取原始 PCM压缩数据包。这一步是 “无损” 的，数据直接来自硬件或虚拟设备的输出。

步骤三：解码处理AVPacket->DecAVFrame

  因为需要重采样，需要解码为原始数据，那么原始数据是PCM，需压解码器将AVPacket 数据解码为pcm原始数据帧AVFrame，，FFmpeg 会根据用户设置的比特率（Bitrate）等参数，调整压缩强度，平衡音质与文件体积。

步骤四：封装为目标文件

  编码后的音频数据流会被写入指定的容器格式（如 MP3、MP4）中，同时生成文件头、索引等元数据，最终形成可播放的音频文件。
  注意：本篇没有重采样和压缩，直接存储的WAV+PCM。
  测试录音文件，产生了噪声。

噪声来源

  输入帧大小（1014）和输出帧大小（1024）不匹配，重采样器内部延迟和滤波导致需要跨帧数据，帧边界相位不连续导致咔哒/爆音。

原因

  采集出来的音频帧是固定1014样本播放或后续处理要求1024样本，直接硬切会导致相位不连续，出现咔哒/爆音，AVAudioFifo是FFmpeg提供的线程安全音频队列缓冲结构，可以： 流式写入（1014, 1014, 1014…） 按需要的帧大小（1024）读取保证输出数据连续、无断裂。

解决方案

• 方案一：在采集端就保持1024，这里44100是23.2ms左右，实际四舍五入系统处理后是23秒，所以只有1014个点。
• 方案二：pcm1014重采样为aac1014，再将1014~1023的采样点设置为0（flip是0.0），那么pts时间戳对齐为每次增加1014（注意：不是1024），播放器使用pts对齐时间戳流，这样静音数据播放无声音，又通过pts进行了对齐，不会长时间出现误差。
• 方案三：使用流失数据，这里可以多次喂给swr重采样转换器但是不拿数据出来，等到满足1024再重采样输出一帧，也可以使用fifo，等到1024再重采样转换，还可以自行写缓冲区进行缓存，这三种处理方式的核心逻辑一样，但是使用的api和代码是不一样的。

方案流程

  原始录音1.wav无噪声，录音1.aac有噪声，解决之后录音的2.aac没有噪声，很丝滑。

audioFifo缓冲区关键步骤

创建缓冲区

pAudioFifo = av_audio_fifo_alloc(AV_SAMPLE_FMT_FLTP, 2, 8192);

放入缓冲区

av_audio_fifo_write(pAudioFifo, (void **)pEncFrame->data, pEncFrame->nb_samples);

缓冲区大小

av_audio_fifo_size(pAudioFifo)

判断缓冲区大小拿取缓冲区

if(av_audio_fifo_size(pAudioFifo) > 1024)
{
pEncFrame->nb_samples = 1024;
av_frame_get_buffer(pEncFrame, 0);
av_audio_fifo_read(pAudioFifo, (void **)pEncFrame, 1024);
}

释放缓冲区

av_audio_fifo_free(pAudioFifo);
pAudioFifo = 0;

Demo（无缓冲处理）

void FFmpegManager::testCaptureAudioForAac()
{
// 命令行，查看本地可用的音频设备列表
// linux  :  ffmpeg -list_devices true -f alsa -i dummy
//
// windows:  ffmpeg -list_devices true -f dshow -i dummy
//           Windows 系统下通过 DirectShow 接口访问音频设备的场景。
//  "麦克风 (Realtek(R) Audio)"
//  "麦克风 (USB Audio Device)" 使用本设备
//  "立体声混音 (Realtek(R) Audio)"
//
// windows录制音频测试： ffmpeg -f dshow -i audio="麦克风 (USB Audio Device)" output.wav
//
// ffmpeg相关变量预先定义与分配
// 步骤一: 注册ffmpeg组件等
av_register_all();                              // 初始化所有组件（只使用这个，找不到dshow）
avdevice_register_all();                        // 显示注册所有设备
avcodec_register_all();                         // 显式注册所有编解码器
// 步骤二: 设置音频参数
AVDictionary* pAVDictionary = nullptr;
av_dict_set(&pAVDictionary, "sample_rate", "44100", 0);
av_dict_set(&pAVDictionary, "channels", "2", 0);
#if 0
av_dict_set(&pAVDictionary, "audio_buffer_size", QSTRING("%1").arg(1024 * 1000 * 1.0 / 44100).toUtf8().data(), 0);
#else
av_dict_set(&pAVDictionary, "audio_buffer_size", "23", 0);
#endif
// 步骤三: 打开麦克风设备
QString deviceStr = QSTRING("audio=%1").arg(QSTRING("麦克风 (USB Audio Device)"));
AVFormatContext* pInAVFormatContext = 0;
LOG << deviceStr;
int ret = avformat_open_input(&pInAVFormatContext,
deviceStr.toUtf8().data(),
av_find_input_format("dshow"),
&pAVDictionary);
if (ret < 0)
{
LOG << QSTRING("无法打开音频设备") << ret;
return;
}
// 步骤四: 获取音频流序列号
int audioStreamIndex = -1;
for(int index = 0; index < pInAVFormatContext->nb_streams; index++)
  {
  if(pInAVFormatContext->streams[index]->codecpar->codec_type == AVMEDIA_TYPE_AUDIO)
  {
  audioStreamIndex = index;
  break;
  }
  }
  if(audioStreamIndex == -1)
  {
  LOG << QSTRING("找不到音频流");
  return;
  }
  // 步骤五: 获取音频流的编码器参数
  AVCodecParameters* pInAVCodecParameters = 0;
  pInAVCodecParameters = pInAVFormatContext->streams[audioStreamIndex]->codecpar;
  // 步骤六: 查找解码器
  const AVCodec* pDecAVCodec = avcodec_find_decoder(pInAVCodecParameters->codec_id);
  if (!pDecAVCodec)
  {
  LOG << QSTRING("找不到解码器");
  return;
  }
  // 步骤七: 为解码器分配解码器上下文
  AVCodecContext* pDecAVCodecContext = avcodec_alloc_context3(pDecAVCodec);
  avcodec_parameters_to_context(pDecAVCodecContext, pInAVCodecParameters);
  ret = avcodec_open2(pDecAVCodecContext, pDecAVCodec, 0);
  if(ret < 0)
  {
  LOG << QSTRING("无法打开解码器");
  return;
  }
  // 步骤八: 创建输出上下文（ADTS 封装的 AAC）
  AVFormatContext* pEncAVFormatContext = nullptr;
  #if 1
  QString fileName = "1.aac";
  avformat_alloc_output_context2(&pEncAVFormatContext, nullptr, "adts", fileName.toUtf8().data());
  // 不使用adts则录制成文件无法播放
  //    avformat_alloc_output_context2(&pEncAVFormatContext, 0, 0, fileName.toUtf8().data());
  #endif
  #if 0
  // aac编码,mp4的音频是aac编码,所以转码为AAC是可以进行mp4文件写入的
  QString fileName = "1.mp4";
  avformat_alloc_output_context2(&pEncAVFormatContext, nullptr, "mp4", fileName.toUtf8().data());
  #endif
  if(!pEncAVFormatContext)
  {
  LOG << QSTRING("无法创建输出上下文");
  return;
  }
  // 步骤九: 创建AAC编码器
  const AVCodec* pEncAVCodec = avcodec_find_encoder(AV_CODEC_ID_AAC);
  if (!pEncAVCodec)
  {
  LOG << QSTRING("找不到AAC编码器");
  return;
  }
  // 步骤十: 创建编码输出流 (使用格式输出上下文, 编码器)
  AVStream* pEncAVStream = avformat_new_stream(pEncAVFormatContext, pEncAVCodec);
  if (!pEncAVStream)
  {
  LOG << QSTRING("无法创建输出流");
  return;
  }
  // 步骤十一: 创建编码器编码上下文
  AVCodecContext* pEncAVCodecContext = avcodec_alloc_context3(pEncAVCodec);
  pEncAVCodecContext->sample_fmt     = AV_SAMPLE_FMT_FLTP;
  pEncAVCodecContext->sample_rate    = 44100;
  pEncAVCodecContext->channel_layout = av_get_default_channel_layout(2);
  pEncAVCodecContext->channels       = 2;
  pEncAVCodecContext->bit_rate       = 192000;
  if(pEncAVFormatContext->oformat->flags & AVFMT_GLOBALHEADER)
  {
  pEncAVCodecContext->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
  }
  // 步骤十二: 打开编码器编码
  if (avcodec_open2(pEncAVCodecContext, pEncAVCodec, nullptr) < 0)
  {
  LOG << QSTRING("无法打开 AAC 编码器");
  return;
  }
  // 步骤十三: 将编码器上下文弄到编码
  avcodec_parameters_from_context(pEncAVStream->codecpar, pEncAVCodecContext);
  // 步骤十四: 创建打开输出文件
  if (!(pEncAVFormatContext->oformat->flags & AVFMT_NOFILE))
  {
  if (avio_open(&pEncAVFormatContext->pb, fileName.toUtf8().data(), AVIO_FLAG_WRITE) < 0)
  {
  LOG << QSTRING("无法打开输出文件");
  return;
  }
  }
  // 步骤十五: 文件写入头信息
  avformat_write_header(pEncAVFormatContext, 0);
  #if 1
  // 打印音频信息
  LOG << QSTRING("音频信息 采样率: %1Hz  声道数: %2  采样格式: %3")
  .arg(pDecAVCodecContext->sample_rate)
  .arg(pDecAVCodecContext->channels)
  .arg(av_get_sample_fmt_name(pDecAVCodecContext->sample_fmt));
  LOG << "convert to";
  LOG << QSTRING("音频信息 采样率: %1Hz  声道数: %2  采样格式: %3")
  .arg(pEncAVCodecContext->sample_rate)
  .arg(pEncAVCodecContext->channels)
  .arg(av_get_sample_fmt_name(pEncAVCodecContext->sample_fmt));
  #endif
  SwrContext* pSwrContext = 0;
  AVAudioFifo *pAudioFifo = 0;
  AVPacket pkt;
  AVFrame* pDecFrame = av_frame_alloc();
  AVFrame* pEncFrame = av_frame_alloc();
  pEncFrame->format = pEncAVCodecContext->sample_fmt;
  pEncFrame->channel_layout = pEncAVCodecContext->channel_layout;
  pEncFrame->sample_rate = pEncAVCodecContext->sample_rate;
  pEncFrame->nb_samples = 1024;
  ret = av_frame_get_buffer(pEncFrame, 0);
  if(ret < 0)
  {
  LOG << QSTRING("无法分配输出帧缓冲区");
  return;
  }
  LOG << QSTRING("正在录制...");
  int index = 0;
  while (index++ < 300)
  {
  ret = av_read_frame(pInAVFormatContext, &pkt);
  if (ret < 0)
  {
  if (ret == AVERROR_EOF)
  {
  LOG;
  break;
  }
  LOG << QSTRING("读取数据包失败") << ret;
  av_packet_unref(&pkt);
  continue;
  }
  if (pkt.stream_index == audioStreamIndex)
  {
  // 解码
  ret = avcodec_send_packet(pDecAVCodecContext, &pkt);
  if (ret < 0)
  {
  LOG << QSTRING("发送数据包到解码器失败") << ret;
  av_packet_unref(&pkt);
  continue;
  }
  while (ret >= 0)
  {
  ret = avcodec_receive_frame(pDecAVCodecContext, pDecFrame);
  if(!pSwrContext)
  {
  pSwrContext = swr_alloc_set_opts(pSwrContext,
  av_get_default_channel_layout(2),
  pEncAVCodecContext->sample_fmt,
  pEncAVCodecContext->sample_rate,
  av_get_default_channel_layout(2),
  (AVSampleFormat)pDecFrame->format,
  pDecFrame->sample_rate,
  0,
  0);
  if (!pSwrContext || swr_init(pSwrContext) < 0)
  {
  LOG << QSTRING("无法初始化重采样上下文");
  return;
  }
  pAudioFifo = av_audio_fifo_alloc(AV_SAMPLE_FMT_S16, 2, 8192);
  }
  if (!pDecFrame->nb_samples || !pDecFrame->data[0])
  {
  LOG << QSTRING("输入帧无数据");
  continue;
  }
  #if 1
  // 打印音频信息
  LOG << QSTRING("转换器输入转换源 音频信息 采样率: %1Hz  声道数: %2  采样格式: %3")
  .arg(pDecAVCodecContext->sample_rate)
  .arg(pDecAVCodecContext->channels)
  .arg(av_get_sample_fmt_name(pDecAVCodecContext->sample_fmt));
  LOG << "convert to";
  LOG << QSTRING("转换器输出转换目标 音频信息 采样率: %1Hz  声道数: %2  采样格式: %3")
  .arg(pEncAVCodecContext->sample_rate)
  .arg(pEncAVCodecContext->channels)
  .arg(av_get_sample_fmt_name(pEncAVCodecContext->sample_fmt));
  LOG << QSTRING("打开编码器获取编码器              音频信息 采样率: %1Hz  声道数: %2  采样格式: %3")
  .arg(pDecAVCodecContext->sample_rate)
  .arg(pDecAVCodecContext->channels)
  .arg(av_get_sample_fmt_name(pDecAVCodecContext->sample_fmt));
  LOG << QSTRING("采集数据解码为PCM帧 解码出来的帧格式 音频信息 采样率: %1Hz  声道数: %2  采样格式: %3")
  .arg(pDecFrame->sample_rate)
  .arg(pDecFrame->channels)
  .arg(av_get_sample_fmt_name((AVSampleFormat)pDecFrame->format));
  #endif
  if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
  {
  LOG;
  break;
  }
  if (ret < 0)
  {
  LOG << QSTRING("解码错误") << ret;
  break;
  }
  #if 1
  LOG << QSTRING("解码帧")
  << "nb_samples = " << pDecFrame->nb_samples
    << ", format =" << pDecFrame->format
      << ", channels =" << pDecFrame->channels;
        #endif
        // 重采样
        pDecFrame->channel_layout = av_get_default_channel_layout(2);
        ret = swr_convert_frame(pSwrContext, pEncFrame, pDecFrame);
        if(ret < 0)
        {
        LOG << QSTRING("重采样失败") << ret;
        continue;
        }
        #if 1
        LOG << QSTRING("重采样后: nb_samples =")
        << pEncFrame->nb_samples
          << ", format =" << pEncFrame->format
            << ", channels =" << pEncFrame->channels;
              #endif
              static int64_t pts = 0;
              pEncFrame->pts = pts;
              pts += pDecFrame->nb_samples;
              ret = avcodec_send_frame(pEncAVCodecContext, pEncFrame);
              if (ret < 0) {
              LOG << QSTRING("发送帧到编码器失败") << ret;
              break;
              }
              while (ret >= 0)
              {
              LOG << ret;
              ret = avcodec_receive_packet(pEncAVCodecContext, &pkt);
              if (ret == AVERROR(EAGAIN))
              {
              LOG << QSTRING("编码器繁忙，需要先收packet");
              }else if(ret < 0)
              {
              LOG << QSTRING("发送帧到编码器失败") << ret;
              break;
              }else {
              LOG << QSTRING("成功发送一帧到编码器");
              }
              pkt.stream_index = pEncAVStream->index;
              av_interleaved_write_frame(pEncAVFormatContext, &pkt);
              av_packet_unref(&pkt);
              }
              }
              }
              av_packet_unref(&pkt);
              }
              avcodec_send_frame(pEncAVCodecContext, 0);
              while (true)
              {
              ret = avcodec_receive_packet(pEncAVCodecContext, &pkt);
              if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) break;
              if (ret < 0) break;
              av_interleaved_write_frame(pEncAVFormatContext, &pkt);
              av_packet_unref(&pkt);
              }
              // 10. 写文件尾
              av_write_trailer(pEncAVFormatContext);
              // 11. 释放资源
              swr_free(&pSwrContext);
              av_frame_free(&pDecFrame);
              av_frame_free(&pEncFrame);
              avcodec_free_context(&pDecAVCodecContext);
              avcodec_free_context(&pEncAVCodecContext);
              avformat_close_input(&pInAVFormatContext);
              avio_closep(&pEncAVFormatContext->pb);
              avformat_free_context(pEncAVFormatContext);
              LOG << QSTRING("录制完成: ") << fileName;
              }

Demo（含缓冲区）

  每次采样1014个点，入缓冲区，当缓冲区大于1024点则提取出来进行编码。
  涉及部分关键点，此处不直接提供代码。

工程模板v1.7.0

入坑

入坑一：无法初始化swsContext上下文

问题

原因

  这个函数是单独的，注册ffmpeg组件之后，就应该与其他代码无关，进一步测试，单独测试可以，如下图：

  打印出来看看：

  都是0，发现应该是channels：

解决

入坑二：录制时候不写入aac文件

问题

  程序运行正常，但是aac文件未写入。

尝试一

  经过逐步排查，发现是重采样失败：

  采集packet→解码成pcm帧→重采样→送给编码器→得到AAC packet，由于重采样失败，那么packet里面就是没有数据，送给编码器编码就是空，导致无法接受到编码包。

  用解码后的帧信息来看是否重采样参数写错了，如下图，是没有问题的：

  打印nb_samples，发现输入的是22050，所以采样点是22050，

  而目标是1024，经过深入研究，发现就是本机的麦克风他采样率是44100Hz，但是他是1s两帧，而转码目标是1024，采样率也是44100Hz，所以这是一大帧0.5s的数据转成1024/44100大于23ms的数据，这个转换不支持。
  解决思路如下：

• 解决思路1：进行拆封大帧循环拆小到1024再转aac的1024（因为都是44100Hz）。
• 解决思路2：设置麦克风采样率帧率为1024个点，也就是23ms左右一帧，这个要看硬件麦克风是否支持，我们强制设置采样缓存去测试就好了。
    修改如下，
  

  然后：

  但是还是采样失败。

尝试二

  调整代码，使用第三方代码继续研究，也是无法进行重采样。

  喂给重采样器的音频帧参数（采样率、声道布局、采样格式）和初始化 SwrContext 时传的参数不一样，重采样器拒绝处理。
  实时打印检测输入参数变化：

  深挖下channel_layout：

  可以得出，channel_layout需要用户自己设置了，这里解出来的AVFrame数据帧的channel_layout都为0，没设置的，所以输入错误，以上就是解码出来送入重采样之前。
  回到之前的尝试一的代码，按照这个原因进行代码修改，重采样也可以成功：

原因

  解码一帧之后的AVFrame，将其传递给重采样函数，此时AVFrame里面的channel_layout是0，channel是2，而channel_layout需要用户设置，这里设置一下就好了，至于各地方的代码都没设置，笔者不太清楚，本机解码后是没有channel_layout的（0没有枚举，所以失败）。

解决

  每次传送采样之前，进行输入帧的channel_layout赋值即可。

入坑三：重采样之后杂音问题

问题

  44100Hz，立体声2通道，采样aac为后44100Hz，立体声2通道对齐1024采样点，播放wav（pcm）时，没有杂音，播放aac（aac）时，有杂音。

原因

  实际输入是1014样本/帧，输出是1024样本/帧，两者不成比  例，所以重采样器在拼接时会产生相位不连续→听上去就是“杂音/咔哒声”。

解决

  查看“噪声来源”章节，实际通过fifo解决，由于涉及核心技术，文章中此处代码不提供解决的Demo。

上一篇：《FFmpeg开发笔记（十二）：ffmpeg音频处理、采集麦克风音频录音为WAV》
下一篇：敬请期待…

本文章博客地址：https://hpzwl.blog.csdn.net/article/details/153191535