FFmpeg API实现拉流AI识别绘制检测框推流到SRS服务整体流程优化记录

CPU场景

1.视频流的编解码CPU实现
2.AI检测是将AVFrame转为RGB颜色空间在交给Yolo开发的检测服务得到识别信息。
3.解码后的AVFrame颜色空间是YUV420格式，最好的方式直接在YUV颜色空间上绘制检测框。
4k分辨率绘制时间也0ms左右。笔者先前作法是先YUV420转到RGB颜色空间上将识别信息绘制，这样性能有损失的

GPU场景

1.视频流的编解码GPU加速实现
2.AI检测是将AVFrame转为RGB颜色空间在交给Yolo开发的检测服务得到识别信息。
3.解码后的AVFrame硬件帧转为软件帧（颜色空间也需要转换）绘制完后又由软件帧转为硬件帧。然后硬件解码。这个是又性能损失的。
如何绘制也在硬件帧上实现呢？
FFmpeg AI 推理+图形渲染的可定制 GPU 管线

FFmpeg API实现拉流AI识别绘制检测框推流到SRS卡顿问题

视频卡顿的本质是视频帧间时间戳非线性递增。

参考链接

1.ffmpeg拉流RTSP视频卡顿解决方案（带宽够用前提下）
2.python ffmpeg 推流 rtmp 延迟 ffmpeg推流掉帧