FFmpeg数据结构:AVPacket解析

本文主要从以下几个方面对AVPacket做解析:

  • AVPacket在FFmpeg中的作用
  • 字段说明
  • AVPacket中的内存管理
  • AVPacket相关函数的说明
  • 结合AVPacket队列说明下AVPacket在传递过程中数据缓存的管理

查了一些资料,发现FFmpeg的版本更新还是挺快,而且有很多API也有改动,本文使用的FFmpeg的最新版本3.1

AVPacket简介

AVPacket是FFmpeg中很重要的一个数据结构,它保存了解复用之后,解码之前的数据(仍然是压缩后的数据)和关于这些数据的一些附加信息,如显示时间戳(pts)、解码时间戳(dts)、数据时长,所在媒体流的索引等。

对于视频(Video)来说,AVPacket通常包含一个压缩的Frame,而音频(Audio)则有可能包含多个压缩的Frame。并且,一个Packet有可能是空的,不包含任何压缩数据,只含有side data(side data,容器提供的关于Packet的一些附加信息。例如,在编码结束的时候更新一些流的参数)。

AVPacket的大小是公共的ABI(public ABI)一部分,这样的结构体在FFmpeg很少,由此也可见AVPacket的重要性。它可以被分配在栈空间上(可以使用语句AVPacket packet; 在栈空间定义一个Packet ),并且除非libavcodec 和 libavformat有很大的改动,不然不会在AVPacket中添加新的字段。

官方文档:AVPacket is one of the few structs in FFmpeg,whose size is a part of public ABI.Thus it may be allocated on stack and no new fields can be added to it without libavcodec and libavformat major bump.

AVPacket 字段说明

AVPacket的声明在avcodec.h中,其声明如下:

typedef struct AVPacket {
    /**
     * A reference to the reference-counted buffer where the packet data is
     * stored.
     * May be NULL, then the packet data is not reference-counted.
     */
    AVBufferRef *buf;
    /**
     * Presentation timestamp in AVStream->time_base units; the time at which
     * the decompressed packet will be presented to the user.
     * Can be AV_NOPTS_VALUE if it is not stored in the file.
     * pts MUST be larger or equal to dts as presentation cannot happen before
     * decompression, unless one wants to view hex dumps. Some formats misuse
     * the terms dts and pts/cts to mean something different. Such timestamps
     * must be converted to true pts/dts before they are stored in AVPacket.
     */
    int64_t pts;
    /**
     * Decompression timestamp in AVStream->time_base units; the time at which
     * the packet is decompressed.
     * Can be AV_NOPTS_VALUE if it is not stored in the file.
     */
    int64_t dts;
    uint8_t *data;
    int   size;
    int   stream_index;
    /**
     * A combination of AV_PKT_FLAG values
     */
    int   flags;
    /**
     * Additional packet data that can be provided by the container.
     * Packet can contain several types of side information.
     */
    AVPacketSideData *side_data;
    int side_data_elems;
    /**
     * Duration of this packet in AVStream->time_base units, 0 if unknown.
     * Equals next_pts - this_pts in presentation order.
     */
    int64_t duration;
    int64_t pos;                            ///< byte position in stream, -1 if unknown
#if FF_API_CONVERGENCE_DURATION
    /**
     * @deprecated Same as the duration field, but as int64_t. This was required
     * for Matroska subtitles, whose duration values could overflow when the
     * duration field was still an int.
     */
    attribute_deprecated
    int64_t convergence_duration;
#endif
} AVPacket;  

AVPacket中的字段可用分为两部分:数据的缓存及管理,关于数据的属性说明。

  • 关于数据的属性有以下字段:
    • pts 显示时间戳
    • dts 解码时间戳
    • stream_index Packet所在stream的index
    • flats 标志,其中最低为1表示该数据是一个关键帧
    • duration 数据的时长,以所属媒体流的时间基准为单位
    • pos 数据在媒体流中的位置,未知则值为-1
    • convergence_duration 该字段已被deprecated,不再使用
  • 数据缓存,AVPacket本身只是个容器,不直接的包含数据,而是通过数据缓存的指针引用数据。AVPacket中包含有两种数据
    • data 指向保存压缩数据的指针,这就是AVPacket实际的数据。
    • side_data 容器提供的一些附加数据
    • buf 是AVBufferRef类型的指针,用来管理data指针引用的数据缓存的,其使用在后面介绍。

AVPacket中的内存管理

AVPacket实际上可用看作一个容器,它本身并不包含压缩的媒体数据,而是通过data指针引用数据的缓存空间。所以将一个Packet作为参数传递的时候,妖就要根据具体的需要,对data引用的这部分数据缓存空间进行特殊的处理。当从一个Packet去创建另一个Packet的时候,有两种情况:

  • 两个Packet的data引用的是同一数据缓存空间,这时候要注意数据缓存空间的释放问题
  • 两个Packet的data引用不同的数据缓存空间,每个Packet都有数据缓存空间的copy。

第二种情况,数据空间的管理比较简单,但是数据实际上有多个copy造成内存空间的浪费。所以要根据具体的需要,来选择到底是两个Packet共享一个数据缓存空间,还是每个Packet拥有自己独自的缓存空间。
对于多个Packet共享同一个缓存空间,FFmpeg使用的引用计数的机制(reference-count)。当有新的Packet引用共享的缓存空间时,就将引用计数+1;当释放了引用共享空间的Packet,就将引用计数-1;引用计数为0时,就释放掉引用的缓存空间。
AVPacket中的AVBufferRef *buf;就是用来管理这个引用计数的,AVBufferRef的声明如下:

typedef struct AVBufferRef {
    AVBuffer *buffer;
    /**
     * The data buffer. It is considered writable if and only if
     * this is the only reference to the buffer, in which case
     * av_buffer_is_writable() returns 1.
     */
    uint8_t *data;
    /**
     * Size of data in bytes.
     */
    int      size;
} AVBufferRef;  

在AVPacket中使用AVBufferRef有两个函数:av_packet_refav_packet_unref

  • av_packet_ref
int av_packet_ref(AVPacket *dst, const AVPacket *src)

创建一个src->data的新的引用计数。如果src已经设置了引用计数发(src->buffer不为空),则直接将其引用计数+1;如果src没有设置引用计数(src->buffer为空),则为dst创建一个新的引用计数buf,并复制src->databuf->buffer中。最后,复制src的其他字段到dst中。

  • av_packet_unref
void av_packet_unref(AVPacket *pkt)

将缓存空间的引用计数-1,并将Packet中的其他字段设为初始值。如果引用计数为0,自动的释放缓存空间。
所以,有两个Packet共享同一个数据缓存空间的时候可用这么做

av_read_frame(pFormatCtx, &packet)  // 读取Packet
av_packet_ref(&dst,&packet) // dst packet共享同一个数据缓存空间
...
av_packet_unref(&dst); 

下一小节简单的介绍下AVPacket相关的函数,并介绍如何在传递Packet的时候,复制一个独立的数据缓存空间的copy,每个Packet都拥有自己独立的数据缓存空间。

AVPacket 相关函数介绍

操作AVPacket的函数大约有30个,主要可以分为:AVPacket的创建初始化、AVPacket中的data数据管理(clone,free,copy等)、AVPacket中的side_data数据管理。
AVPacket的创建有很多种,而由于Packet中的数据是通过data引用的,从一个Packet来创建另一个Packet有多种方法。

  • av_read_frame 这个是比较常见的了,从媒体流中读取帧填充到填充到Packet的数据缓存空间。如果Packet->buf为空,则Packet的数据缓存空间会在下次调用av_read_frame的时候失效。这也就是为何在FFmpeg3:播放音频中,从流中读取到Packet的时,在将该Packet插入队列时,要调用av_dup_avpacket重新复制一份缓存数据。(av_dup_avpacket函数已废弃,后面会介绍)
  • av_packet_alloc 创建一个AVPacket,将其字段设为默认值(data为空,没有数据缓存空间)。
  • av_packet_free 释放使用av_packet_alloc创建的AVPacket,如果该Packet有引用计数(packet->buf不为空),则先调用av_packet_unref(&packet)
  • av_packet_clone 其功能是 av_packet_alloc + av_packet_ref
  • av_init_packet 初始化packet的值为默认值,该函数不会影响data引用的数据缓存空间和size,需要单独处理。
  • av_new_packet av_init_packet的增强版,不但会初始化字段,还为data分配了存储空间。
  • av_copy_packet 复制一个新的packet,包括数据缓存。
  • av_packet_from_data 初始化一个引用计数的packet,并指定了其数据缓存。
  • av_grow_packetav_shrink_packet 增大或者减小Packet->data指向的数据缓存。

就罗列这么多吧,剩下的没提到的基本都是和side_data相关的一些函数,和data的比较类似。
最后介绍下已经废弃的两个函数 av_dup_packetav_free_packet
av_dup_packet 是复制src->data引用的数据缓存,赋值给dst。也就是创建两个独立packet,这个功能现在可用使用函数av_packet_ref来代替。
av_free_packet 释放packet,包括其data引用的数据缓存,现在可以使用av_packet_unref代替。

AVPacket队列

FFmpeg3:播放音频中,使用了AVPacket队列来缓存从流中读取的帧数据。这就涉及到多次的AVPacket的传递,从流中读取Packet插入队列;从队列中取出Packet进行解码;以及一些中间变量。由于Dranger教程中使用的已经废弃的API,在参照官方文档进行修改的时候就出现了内存读写的异常。下面就播放音频的教程中的AVPacket队列实现,分析下在AVPacket作为参数传递的过程中,应该如何更好的管理其data引用的缓存空间。

  • 从流中读取AVPacket插入队列
    AVPacket packet;
    while (av_read_frame(pFormatCtx, &packet) >= 0)
    {
        if (packet.stream_index == audioStream)
            packet_queue_put(&audioq, &packet);
        else
            //av_free_packet(&packet);
            av_packet_unref(&packet);
    }  

如果是音频流则将读到Packet调用packet_queue_put插入到队列,如果不是音频流则调用av_packet_unref释放已读取到的AVPacket数据。
下面代码是packet_queue_put中将Packet放入到一个新建的队列节点的代码片段

    AVPacketList *pktl;
    //if (av_dup_packet(pkt) < 0)
        //return -1;
    pktl = (AVPacketList*)av_malloc(sizeof(AVPacketList));
    if (!pktl)
        return -1;
    if (av_packet_ref(&pktl->pkt, pkt) < 0)
        return -1;
    //pktl->pkt = *pkt;
    pktl->next = nullptr;  

注意,在调用packet_queue_put时传递的是指针,也就是形参pkt和实参packet中的data引用的是同一个数据缓存。但是在循环调用av_read_frame的时候,会将packet中的data释放掉,以便于读取下一个帧数据。
所以就需要对data引用的数据缓存进行处理,保证在读取下一个帧数据的时候,其data引用的数据空间没有被释放。有两种方法,复制一份data引用的数据缓存或者给data引用的缓存空间加一个引用计数。
注释掉的部分是使用已废弃的APIav_dup_packet,该函数将pkt中data引用的数据缓存复制一份给队列节点中的AVPacket。
添加引用计数的方法则是调用av_apcket_ref将data引用的数据缓存的引用计数+1,这样其就不会被释放掉。

  • 从队列中取出AVPacket
            //*pkt = pktl->pkt;
            if (av_packet_ref(pkt, &pktl->pkt) < 0)
            {
                ret = 0;
                break;
            }  

注释掉的代码仍然是两个packet引用了同一个缓存空间,这样在一个使用完成释放掉缓存的时候,会造成另一个访问错误。所以扔给调用av_packet_ref将其引用计数+1,这样在释放其中一个packet的时候其引用的数据缓存就不会被释放掉,知道两个packet都被释放。

posted @ 2016-08-20 16:33  Brook_icv  阅读(10537)  评论(1编辑  收藏