ffmpeg filters 间数据流动

参考：
https://www.jianshu.com/p/8f1556341975
https://www.cnblogs.com/TaigaCon/p/10171464.html

1. 滤镜图结构

滤镜图结构大致如下：

整个结构看起来是一个流水线结构，数据帧从源滤镜输入，从输出滤镜输出，中间经过一系列处理
一般每个 link 会有一个 fifo queue，上级输出的帧数据会先存入 fifo，下级的输入从 fifo 中取出
filter 可能会有多个输入、输出 pad，pad 会有序号标识，都是从 0 开始递增。pad 序号对于开发者来说，主要用于处理连接规则
另外一个值得关注的点是，整个流水线是单线程的，虽然开发者可以设置滤镜图的线程数，但是实际上这个值只会在某些滤镜内部使用，即单个滤镜内部可以开启多线程

2. AVFilter 对象结构

如果我们要自定义一个 ffmpeg 过滤器，那么首先要从定义 AVFilter 开始。一个示例如下：

AVFilter ff_vf_overlay = {
    .name          = "overlay",
    .description   = NULL_IF_CONFIG_SMALL("Overlay a video source on top of the input."),
    .preinit       = overlay_framesync_preinit,
    .init          = init,
    .uninit        = uninit,
    .priv_size     = sizeof(OverlayContext),
    .priv_class    = &overlay_class,
    .query_formats = query_formats,
    .activate      = activate,
    .process_command = process_command,
    .inputs        = avfilter_vf_overlay_inputs,
    .outputs       = avfilter_vf_overlay_outputs,
    .flags         = AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL |
                     AVFILTER_FLAG_SLICE_THREADS,
};

下面看一下 AVFilter 对象中几个重要的成员。

2.1 name

声明如下：

    const char *name;

本 filter 的名字，是其独一无二的可读标识.

2.2 priv_size，priv_class

声明如下：

  const AVClass *priv_class;

  int priv_size;

一般来说，AVFilter 对象是 ffmpeg 可见的对象，但是每个 filter 需要自己的私有数据，而这两个成员就是为了存储每个 filter 的私有数据的。
私有数据一般也是一个结构体，这个结构体存什么都可以，只有一个限制，即第一个成员必须是 AVClass* 类型：

struct MyFilter {
  const AVClass *class;

  ...
};

这么做的目的有两个：

方便 ffmpeg 调用 filter 的回调函数时，将 AVClass* 强制转为 MyFilter*
外部传递参数给 MyFilter (具体可以看 AVClass 与 AVOption 的关系)

所以：

priv_class 就是指向了 MyFilter 对象
priv_size 即 MyFilter 对象的大小

2.3 init, uninit

声明如下：

  int (*init)(AVFilterContext *ctx);

  void (*uninit)(AVFilterContext *ctx);

这是两个回调函数，过滤器一般来说需要注册这两个回调函数：

init 回调在外部调用 avfilter_graph_create_filter() 时会触发
uninit 回调在外部调用 avfilter_graph_free() 时会触发

2.4 query_formats

声明如下：

  int (*query_formats)(AVFilterContext *);

这也是一个回调函数，过滤器一般来说也需要注册这个回调函数。
一个示例如下：

static int xxx_query_formats(AVFilterContext *avctx)
{
    static const enum AVPixelFormat main_pixel_formats[] = {
        AV_PIX_FMT_CUDA, AV_PIX_FMT_NONE,
    };

    static const enum AVPixelFormat overlay_pixel_formats[] = {
        AV_PIX_FMT_RGBA, AV_PIX_FMT_NONE,
    };

    int ret = 0;
    AVFilterFormats* formats = ff_make_format_list(main_pixel_formats);
    if ((ret = ff_formats_ref(formats, &avctx->inputs[0]->outcfg.formats)) < 0 ||
        (ret = ff_formats_ref(formats, &avctx->outputs[0]->incfg.formats)) < 0)
        return ret;

    return ff_formats_ref(ff_make_format_list(overlay_pixel_formats),
                          &avctx->inputs[1]->outcfg.formats);
}

注意此回调的时机，在外部调用 avfilter_graph_config() 的时候会被调用。
avfilter_graph_config() 是对所有 filters 发起连接和协商的入口，而协商的第一步就是告诉别人，本 filter output pads 和 input pads 上支持的像素格式:

一个 filter 可以有多个输入和输出 pad，且每个 pad 支持的像素格式也是独立的。

2.5 inputs, outputs

声明如下：

  const AVFilterPad *inputs;

  const AVFilterPad *outputs;

这是两个 AVFilterPad 对象，filter 被设计为可以拥有输入和输出 pad，而这两个 AVFilterPad 对象即代表了 filter 的输入输出 pad。
下面继续看一下 AVFilterPad 的一些重要内部结构。

2.5.1 AVFilterPad::name

与 AVFilter::name 的作用一样，可以为每个 pad 定义一个可读的名称。

2.5.2 AVFilterPad::type

pad 类型，主要是 ffmpeg 会做一些内部数据的检查，可为 AVMEDIA_TYPE_VIDEO 或 AVMEDIA_TYPE_AUDIO。

2.5.3 AVFilterPad::config_props

声明如下：

  int (*config_props)(AVFilterLink *link);

这是属于 pad 的一个重要回调函数：

前面说过 avfilter_graph_config() 发起 filters 之间的连接和协商的第一步是调用 AVFilter::query_formats() 回调，此回调会设置本 filter 所有 pad 所支持的像素格式
在某个 pad 协商完毕后，会调用相应 pad 的 config_props() 回调，用于告诉 filter 当前 pad 最终的协商格式

2.5.4 AVFilterPad::filter_frame

声明如下：

  int (*filter_frame)(AVFilterLink *link, AVFrame *frame);

此回调主要是给 filter input_pad 使用的，当上游有数据包要流向这个 pad 时，此回调会被调用，frame 参数就是传递给此 filter input pad 的数据包。

2.5.5 AVFilterPad::request_frame

声明如下：

  int (*request_frame)(AVFilterLink *link);

此回调主要是给 filter output pad 使用的，当下游 filter 需要数据时，会向上请求数据，ffmpeg 内部会调用此方法通知当前 filter，下游需要数据。

2.6 activate

声明如下：

  int (*activate)(AVFilterContext *ctx);

前面介绍了 filter input pad 和 output pad 中，涉及到数据流传递的两个回调函数 filter_frame() 和 request_fram()。而这里 activate() 函数是第三个，涉及到数据流的回调函数
activate() 对比另外两个回调，其内部数据权限更大，例如可以决定是否向上请求数据、是否向下传递数据、是否向下传递错误信号等
更大的权限也意味着很多原本 ffmpeg 内部实现的东西，需要放到这个回调内部由 filter 自行实现