代码改变世界

vlc源码分析(七) 调试HLS协议

2017-09-02 23:35  jiayayao  阅读(2911)  评论(0编辑  收藏  举报

        HTTP Live Streaming(HLS)是苹果公司提出来的流媒体传输协议。与RTP协议不同的是,HLS可以穿透某些允许HTTP协议通过的防火墙。

一、HLS播放模式

(1) 点播模式(Video on demand, VOD)

        点播模式是指当前时间点可以获取到所有index文件和ts文件,二级index文件中记录了所有ts文件的地址。这种模式允许客户端访问全部内容。上面的例子中就是一个点播模式下的m3u8的结构。 

(2) 直播模式(Live)

        直播模式是指实时生成M3u8和ts文件。它的索引文件一直处于动态变化的,播放的时候需要不断下载二级index文件,以获得最新生成的ts文件播放视频。如果一个二级index文件的末尾没有#EXT-X-ENDLIST标志,说明它是一个Live视频流。 

        客户端在播放VOD模式的视频时其实只需要下载一次一级index文件和二级index文件就可以得到所有ts文件的下载地址,除非客户端进行比特率切换,否则无需再下载任何index文件,只需顺序下载ts文件并播放就可以了。但是Live模式下略有不同,因为播放的同时,新ts文件也在被生成中,所以客户端实际上是下载一次二级index文件,然后下载ts文件,再下载二级index文件(这个时候这个二级index文件已经被重写,记录了新生成的ts文件的下载地址),再下载新ts文件,如此反复进行播放。 

        如果HLS的索引文件分为2级,那么第一级的index文件称为Master PlayList,可能包含着各种分辨率的index地址,选定某一个地址后,获取的index文件是第二级,Media PlayList。 保留着每一个#EXT-X-STREAM-INF的下一行是二级index文件的路径,可以用相对路径也可以用绝对路径。这个文件中记录了不同比特率视频流的二级index文件路径,客户端可以自己判断自己的现行网络带宽,来决定播放哪一个视频流。

        测试的HLS地址:http://live.hkstv.hk.lxdns.com/live/hks/playlist.m3u8(Live)

        http://devimages.apple.com/iphone/samples/bipbop/bipbopall.m3u8(VOD)

二、m3u8文件的格式

        在开始流媒体会话时,客户端首先会获取一个m3u8文件,用于获取可以播放的媒体列表。 首先了解m3u8文件中几个标签的含义:

#EXTM3U // m3u文件头,必须放在第一行
#EXTINF // extra info,分片TS的信息,如时长,带宽等
#EXT-X-TARGETDURATION// 指定当前视频流中的切片文件的最大时长
#EXT-X-PLAYLIST-TYPE:VOD // 表示这是一个VOD文件
#EXT-X-ALLOW-CACHE // 是否允许cache
#EXT-X-ENDLIST // m3u8文件结束符

          在VLC输入上边VOD测试地址,点击播放后,就会向特定的服务器获取m3u8文件,一个普通的m3u8文件格式如下:

#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=200000
gear1/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=311111
gear2/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=484444
gear3/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=737777
gear4/prog_index.m3u8

        上述文件表示不同分辨率的m3u8文件地址,获得该文件后,VLC会根据本地带宽选定使用的m3u8文件,然后打印如下日志:

httplive stream debug: bandwidth adaptation detected (program-id=1, bandwidth=200000).
access_http access debug: http: server='devimages.apple.com' port=80 file='/iphone/samples/bipbop/gear1/prog_index.m3u8'

        可见,此时VLC选定了bandwidth=200000的选项,然后VLC就会下载该选项对应的m3u8文件,该m3u8文件指定了要下载的ts文件的列表及地址。由于是VOD模式,m3u8文件是全的,最后也有“#EXT-X-ENDLIST”标识。

#EXTM3U
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:10, no desc
fileSequence0.ts
#EXTINF:10, no desc
fileSequence1.ts
#EXTINF:10, no desc
fileSequence2.ts
#EXTINF:10, no desc
fileSequence3.ts
......
#EXTINF:10, no desc
fileSequence178.ts
#EXTINF:10, no desc
fileSequence179.ts
#EXTINF:1, no desc
fileSequence180.ts
#EXT-X-ENDLIST

 三、使用VLC调试HLS协议 

        在之前的分析中介绍过,播放一个视频通常是access->demux->decoder->render的流水线过程,有时access和demux的过程会合在一起,比如播放RTSP摄像头时,access和demux都在Live555模块内进行。在读取HLS视频流时,access使用的是http+httplive模块,demux模块使用的是libts(之前的分析中有介绍),decoder一般是FFmpeg,render在不同的平台上会使用不同的模块(Windows一般是DShow,Android一般是OpenGL)。了解了播放HLS视频源所使用的模块,可以在对应模块的Open函数中设置断点,调试其模块打开过程,以学习HLS。在modules\access\http.c文件中打印了如下信息:

access_http access debug: http: server='live.hkstv.hk.lxdns.com' port=80 file='/live/hks/playlist.m3u8'

        当点击播放测试的HLS地址后,VLC首先创建了一个access模块(http),http模块主要的工作就是进行http通信,由于通信过程中下载的文件格式是m3u8,因此还需要一个stream filter模块(httplive),也就是说解析m3u8格式是在httplive模块进行的。httplive模块在开启时,会创建hls_Thread线程不断的去下载ts文件,而且如果是实时播放模式的话,还会创建hls_Reload线程去更新ts文件列表。httplive会不断调用http去下载最新的ts文件,下载的ts数据文件中的数据(有视频有音频)保存在httplive模块。在得到了视频音频数据后,接下来要做的就是demux。libts在调用Demux函数在分离时,会调用ReadTSPacket函数,该函数会读取httplive模块下载好的ts数据,将这些ts数据分离至视频和音频FIFO,之后就是视频和音频decoder的事情了,不再赘述。 

        注意在实时播放模式下,播放HKS实时视频时,获得的ts流地址采用类似滑动窗口的形式,比如,第一次hls_ReloadPlaylist获得的m3u8文件中ts的数字是373363.ts、373364.ts和373365.ts,那么第二次hls_ReloadPlaylist时,获得的m3u8文件中ts的数字就是373364.ts、373365.ts和373366.ts,每次向后加1.

 

参考资料:

(1) 官方文档:https://github.com/jiayayao/DataSheet/tree/master/stream%20protocol/hls

(2) http://www.jianshu.com/p/426425cad08a

(3) vlc源码分析(四) 调用libts接收TS流

 

附:

        配置好的Windows版vlc工程下载:https://github.com/jiayayao/vlc_2.1.0-vs_2010,下载后使用vs2010可以直接编译运行,调试学习非常方便。