短视频电商系统，通过编程进行音频录制

1. 通过编程录音

开发录音功能的主要步骤是：
1、打开设备
（1）注册设备
（2）打开设备
a.设置 设备 采集的上下文
b.设置 选中的设备
c.设置 选中的输入格式(不同平台的格式不同,要提前 配置好,若是要跨平台,需要提前做好条件编译)
d.设置采集的 配置信息
2、采集数据
（1）获取 设备 的采集上下文对象
（2）采集数据
a.获取采集数据的每一个当前采集好好的数据包(采集的数据不是马上通过IO存储在系统硬盘的，是先存储在缓冲区的,这属于不同平台对文件IO的优化,因为一直进行系统的IO操作,会影响执行效率:存入缓存比存入硬盘快)
b.将数据包写入文件系统
c.释放写好的数据包
d.继续采集下一个数据包/退出采集
e…(Tips:1. 要写好采集的开始和结束的控制逻辑 2. 要避免主线程采集,卡顿主线程下)
f.通过文件存储API 存储 采集好的 数据
g.打开文件操作
h.写入数据
i.写完要关闭文件操作
3、释放资源

 

需要用到的FFmpeg库有4个。
extern "C" {
// 设备相关API
#include <libavdevice/avdevice.h>
// 格式相关API
#include <libavformat/avformat.h>
// 工具相关API（比如错误处理）
#include <libavutil/avutil.h>
// 编码相关API
#include <libavcodec/avcodec.h>
}

1.1 权限申请
在Mac平台，有2个注意点：(可以在编译之后的软件包上改info.plist、也可以自定义info.plist)

需要在Info.plist中添加麦克风的使用说明，申请麦克风的使用权限
使用Debug模式运行程序
不然会出现闪退的情况

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
        <key>NSMicrophoneUsageDescription</key>
        <string>使用麦克风采集您的天籁之音</string>
</dict>
</plist>

1.2 注册设备
在整个程序的运行过程中，只需要执行1次注册设备的代码。

// 初始化libavdevice并注册所有输入和输出设备
avdevice_register_all();

1.3 获取输入格式对象
1.3.1 宏定义
Windows和Mac环境的格式名称、设备名称都是不同的，所以使用条件编译实现跨平台。

// 格式名称、设备名称目前暂时使用宏定义固定死
#ifdef Q_OS_WIN
    // 格式名称
    #define FMT_NAME "dshow"
    // 设备名称
    #define DEVICE_NAME "audio=麦克风阵列 (Realtek(R) Audio)"
#else
    #define FMT_NAME "avfoundation"
    #define DEVICE_NAME ":0"
#endif

1.3.2 核心代码
根据格式名称获取输入格式对象，后面需要利用输入格式对象打开设备。

AVInputFormat *fmt = av_find_input_format(FMT_NAME);
if (!fmt) {
    // 如果找不到输入格式
    qDebug() << "找不到输入格式" << FMT_NAME;
    return;
}

1.4 打开设备

// 格式上下文（后面通过格式上下文操作设备）
AVFormatContext *ctx = nullptr;
// 打开设备
int ret = avformat_open_input(&ctx, DEVICE_NAME, fmt, nullptr);
// 如果打开设备失败
if (ret < 0) {
    char errbuf[1024] = {0};
    // 根据函数返回的错误码获取错误信息
    av_strerror(ret, errbuf, sizeof (errbuf));
    qDebug() << "打开设备失败" << errbuf;
    return;
}

1.5 采集数据
1.5.1 宏定义

#ifdef Q_OS_WIN
    // PCM文件的文件名
    #define FILENAME "F:/out.pcm"
#else
    #define FILENAME "/Users/mj/Desktop/out.pcm"
#endif

1.5.2 核心代码

#include <QFile>

// 文件
QFile file(FILENAME);

// WriteOnly：只写模式。如果文件不存在，就创建文件；如果文件存在，就删除文件内容
if (!file.open(QFile::WriteOnly)) {
    qDebug() << "文件打开失败" << FILENAME;
    // 关闭设备
    avformat_close_input(&ctx);
    return;
}

// 暂时假定只采集50个数据包
int count = 50;

// 数据包
AVPacket *pkt = av_packet_alloc();
while (count-- > 0) {
    // 从设备中采集数据，返回值为0，代表采集数据成功
    ret = av_read_frame(ctx, pkt);

    if (ret == 0) { // 读取成功
        // 将数据写入文件
        file.write((const char *) pkt->data, pkt->size);
    
        // 释放资源
        av_packet_unref(pkt);
    } else if (ret == AVERROR(EAGAIN)) { // 资源临时不可用
        continue;
    } else { // 其他错误
        char errbuf[1024];
        av_strerror(ret, errbuf, sizeof (errbuf));
        qDebug() << "av_read_frame error" << errbuf << ret;
        break;
    }
}

1.6 释放资源

// 关闭文件
file.close();

// 释放资源
av_packet_free(&pkt);

// 关闭设备
avformat_close_input(&ctx);

1.7 获取录音设备的相关参数

// 从AVFormatContext中获取录音设备的相关参数
void showSpec(AVFormatContext *ctx) {
    // 获取输入流
    AVStream *stream = ctx->streams[0];
    // 获取音频参数
    AVCodecParameters *params = stream->codecpar;
    // 声道数
    qDebug() << params->channels;
    // 采样率
    qDebug() << params->sample_rate;
    // 采样格式
    qDebug() << params->format;
    // 每一个样本的一个声道占用多少个字节
    qDebug() << av_get_bytes_per_sample((AVSampleFormat) params->format);
    // 编码ID（可以看出采样格式）
    qDebug() << params->codec_id;
    // 每一个样本的一个声道占用多少位（这个函数需要用到avcodec库）
    qDebug() << av_get_bits_per_sample(params->codec_id);
}

2. 多线程

录音属于耗时操作，为了避免阻塞主线程，最好在子线程中进行录音操作。这里创建了一个继承自QThread的线程类，线程一旦启动（start），就会自动调用 run 函数。
2.1 .h

#include <QThread>
 
class AudioThread : public QThread {
    Q_OBJECT
private:
    void run();
 
public:
    explicit AudioThread(QObject *parent = nullptr);
    ~AudioThread();
};

2.2 .cpp

AudioThread::AudioThread(QObject *parent,
                         AVInputFormat *fmt,
                         const char *deviceName)
    : QThread(parent), _fmt(fmt), _deviceName(deviceName) {
    // 在线程结束时自动回收线程的内存
    connect(this, &AudioThread::finished,
            this, &AudioThread::deleteLater);
}

AudioThread::~AudioThread() {
    // 线程对象的内存回收时，正常结束线程
    requestInterruption();
    quit();
    wait();
}

void AudioThread::run() {
    // 录音操作
    // ...
}

2.3 开启线程

AudioThread *audioThread = new AudioThread(this);
audioThread->start();

2.4 结束线程

// 外部调用线程的requestInterruption，请求结束线程
audioThread->requestInterruption();

// 线程内部的逻辑
void AudioThread::run() {
    // 可以通过isInterruptionRequested判断是否要结束线程
    // 当调用过线程的requestInterruption时，isInterruptionRequested返回值就为true，否则为false
    while (!isInterruptionRequested()) {
    	// ...
    }
}

2.5 改造录音代码

// 数据包
AVPacket *pkt = av_packet_alloc();
while (!isInterruptionRequested()) {
    // 从设备中采集数据，返回值为0，代表采集数据成功
    ret = av_read_frame(ctx, pkt);

    if (ret == 0) { // 读取成功
        // 将数据写入文件
        file.write((const char *) pkt->data, pkt->size);
    
        // 释放资源
        av_packet_unref(pkt);
    } else if (ret == AVERROR(EAGAIN)) { // 资源临时不可用
        continue;
    } else { // 其他错误
        char errbuf[1024];
        av_strerror(ret, errbuf, sizeof (errbuf));
        qDebug() << "av_read_frame error" << errbuf << ret;
        break;
    }
}

以上就是短视频电商系统，通过编程进行音频录制， 更多内容欢迎关注之后的文章