深度视频压缩的任务感知编码器控制

深度视频压缩的任务感知编码器控制

    先前对机器任务的深度视频压缩（DVC）的研究，通常需要为每个特定任务训练一个唯一的编解码器，并要求每个任务都有一个专用的解码器。相比之下，传统的视频编解码器采用灵活的编码器控制器，通过模式预测等机制使单个编解码器能够适应不同的任务。从中汲取灵感，介绍了一种用于机器深度视频压缩的创新编码器控制器。该控制器具有模式预测和图片组（GoP）选择模块。改进的方法在编码阶段集中控制，允许在不同任务（如检测和跟踪）之间进行自适应编码器调整，同时保持与标准预训练DVC解码器的兼容性。经验证据表明，改进的方法适用于具有各种现有预训练DVC的多个任务。此外，大量的实验表明，在只有一个预训练解码器的情况下，改进的方法在不同任务中的比特率比之前的DVC高出约25%。

    深度视频压缩的任务感知编码器控制框架，如图4-21所示。

 

图4-21 深度视频压缩的任务感知编码器控制框架

在图4-21中，（a）机器控制DVC框架概述。给定一个输入GoP，首先使用GoP选择网络来预测GoP结构，然后预测的结构控制编码过程，对机器视觉任务的输入帧进行编码。（b）0元素控制编码器使用DVMP。（c）GoP选择网络，包括预分析阶段和GoP预测阶段。