使用VideoToolbox硬编码H.264<转>

文／落影loyinglin（简书作者）
原文链接：http://www.jianshu.com/p/37784e363b8a
著作权归作者所有，转载请联系作者获得授权，并标注“简书作者”。

===========================================

使用VideoToolbox硬编码H.264

前言

H.264是目前很流行的编码层视频压缩格式，目前项目中的协议层有rtmp与http，但是视频的编码层都是使用的H.264。
在熟悉H.264的过程中，为更好的了解H.264，尝试用VideoToolbox硬编码与硬解码H.264的原始码流。

介绍

1、H.264

H.264由视讯编码层(Video Coding Layer，VCL)与网络提取层(Network Abstraction Layer，NAL)组成。
H.264包含一个内建的NAL网络协议适应层，藉由NAL来提供网络的状态，让VCL有更好的编译码弹性与纠错能力。
H.264的介绍看这里
H.264的码流结构
重点对象：

• 序列参数集SPS：作用于一系列连续的编码图像；
• 图像参数集PPS：作用于编码视频序列中一个或多个独立的图像；

 

2、VideoToolbox

VideoToolbox是iOS8以后开放的硬编码与硬解码的API，一组用C语言写的函数。使用流程如下：

• 1、-initVideoToolBox中调用VTCompressionSessionCreate创建编码session，然后调用VTSessionSetProperty设置参数，最后调用VTCompressionSessionPrepareToEncodeFrames开始编码；
• 2、开始视频录制，获取到摄像头的视频帧，传入-encode:，调用VTCompressionSessionEncodeFrame传入需要编码的视频帧，如果返回失败，调用VTCompressionSessionInvalidate销毁session，然后释放session；
• 3、每一帧视频编码完成后会调用预先设置的编码函数didCompressH264，如果是关键帧需要用CMSampleBufferGetFormatDescription获取CMFormatDescriptionRef，然后用
  CMVideoFormatDescriptionGetH264ParameterSetAtIndex取得PPS和SPS；
  最后把每一帧的所有NALU数据前四个字节变成0x00 00 00 01之后再写入文件；
• 4、调用VTCompressionSessionCompleteFrames完成编码，然后销毁session：VTCompressionSessionInvalidate，释放session。

效果展示

下图是解码出来的图像

贴贴代码

• 创建session

•  int width = 480, height = 640;
       OSStatus status = VTCompressionSessionCreate(NULL, width, height, kCMVideoCodecType_H264, NULL, NULL, NULL, didCompressH264, (__bridge void *)(self),  &EncodingSession);

   

• 设置session属性

• // 设置实时编码输出（避免延迟）
       VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_RealTime, kCFBooleanTrue);
       VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_ProfileLevel, kVTProfileLevel_H264_Baseline_AutoLevel);
       // 设置关键帧（GOPsize)间隔
       int frameInterval = 10;
       CFNumberRef  frameIntervalRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &frameInterval);
       VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_MaxKeyFrameInterval, frameIntervalRef);
       // 设置期望帧率
       int fps = 10;
       CFNumberRef  fpsRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &fps);
       VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_ExpectedFrameRate, fpsRef); 
       //设置码率，上限，单位是bps
       int bitRate = width * height * 3 * 4 * 8;
       CFNumberRef bitRateRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bitRate);
       VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_AverageBitRate, bitRateRef);
       //设置码率，均值，单位是byte
       int bitRateLimit = width * height * 3 * 4;
       CFNumberRef bitRateLimitRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bitRateLimit);
       VTSessionSetProperty(EncodingSession, kVTCompressionPropertyKey_DataRateLimits, bitRateLimitRef);

   

• 传入编码帧

• CVImageBufferRef imageBuffer = (CVImageBufferRef)CMSampleBufferGetImageBuffer(sampleBuffer);
   // 帧时间，如果不设置会导致时间轴过长。
   CMTime presentationTimeStamp = CMTimeMake(frameID++, 1000);
   VTEncodeInfoFlags flags;
   OSStatus statusCode = VTCompressionSessionEncodeFrame(EncodingSession,
                                                         imageBuffer,
                                                         presentationTimeStamp,
                                                         kCMTimeInvalid,
                                                         NULL, NULL, &flags);

   

• 关键帧获取SPS和PPS

•  bool keyframe = !CFDictionaryContainsKey( (CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync);
   // 判断当前帧是否为关键帧
   // 获取sps & pps数据
   if (keyframe)
   {
       CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);
       size_t sparameterSetSize, sparameterSetCount;
       const uint8_t *sparameterSet;
       OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0 );
       if (statusCode == noErr)
       {
           // Found sps and now check for pps
           size_t pparameterSetSize, pparameterSetCount;
           const uint8_t *pparameterSet;
           OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0 );
           if (statusCode == noErr)
           {
               // Found pps
               NSData *sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
               NSData *pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];
               if (encoder)
               {
                   [encoder gotSpsPps:sps pps:pps];
               }
           }
       }
   }

   

• 写入数据

• CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
   size_t length, totalLength;
   char *dataPointer;
   OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);
   if (statusCodeRet == noErr) {
       size_t bufferOffset = 0;
       static const int AVCCHeaderLength = 4; // 返回的nalu数据前四个字节不是0001的startcode，而是大端模式的帧长度length
  
       // 循环获取nalu数据
       while (bufferOffset < totalLength - AVCCHeaderLength) {
           uint32_t NALUnitLength = 0;
           // Read the NAL unit length
           memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);
  
           // 从大端转系统端
           NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);
  
           NSData* data = [[NSData alloc] initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength];
           [encoder gotEncodedData:data isKeyFrame:keyframe];
  
           // Move to the next NAL unit in the block buffer
           bufferOffset += AVCCHeaderLength + NALUnitLength;
       }
   }

  总结

  在网上找到的多个VideoToolboxDemo代码大都类似，更重要是自己尝试实现。
  学习硬编码与硬解码，目的是对H264码流更清晰的了解，实则我们开发过程中并不会触碰到H264的真正编码与解码过程，故而难度远没有想象中那么大。
  这里有代码地址