详解【音视频】的协议、编码、格式

一、音视频协议（Protocol）

协议定义了数据如何传输，即音视频数据在网络中如何打包、传输和接收。

1. 流媒体传输协议

协议	特点	应用场景
RTMP (Real-Time Messaging Protocol)	Adobe开发，基于TCP，低延迟（1-3秒）	传统直播推流（逐渐被淘汰）
HLS (HTTP Live Streaming)	Apple开发，基于HTTP，切片传输（m3u8索引+ts片段），延迟5-30秒	移动端播放、点播、直播
DASH (Dynamic Adaptive Streaming)	MPEG标准，类似HLS但跨平台，使用MPD索引文件	国际化流媒体服务
WebRTC	浏览器原生支持，超低延迟（<500ms），P2P传输	视频会议、实时互动、连麦
RTSP/RTP	传统监控协议，RTP传输数据，RTSP控制信令	安防监控、IP摄像头
SRT (Secure Reliable Transport)	开源，低延迟，抗丢包，基于UDP	专业直播、远程制作
QUIC/HTTP3	Google开发，基于UDP，连接迁移，抗弱网	新一代流媒体传输

2. 信令与通信协议

• SIP (Session Initiation Protocol)：VoIP电话、视频会议呼叫建立

• SDP (Session Description Protocol)：描述媒体类型、编码、传输地址

二、音视频编码（Codec）

编码定义了数据如何压缩，即原始音视频数据如何压缩以减少体积，同时保持质量。

1. 视频编码标准

编码标准	组织	特点	应用
H.264/AVC	ITU/MPEG	最广泛兼容，压缩率中等，专利费	蓝光、YouTube、直播主流
H.265/HEVC	ITU/MPEG	比H.264节省50%码率，专利费高	4K/8K视频、HDR
H.266/VVC	ITU/MPEG	最新标准，比HEVC再省50%	未来8K、VR应用
VP8	Google	开源免费，WebRTC默认	早期WebRTC
VP9	Google	开源，接近HEVC效率，YouTube使用	YouTube 4K、浏览器
AV1	AOMedia	开源免费，比HEVC更优，免专利费	Netflix、YouTube、浏览器
AVS/AVS2/AVS3	中国	国标，自主知识产权	中国广电、央视4K频道

2. 音频编码标准

编码标准	特点	应用
AAC (Advanced Audio Coding)	有损压缩，效率高，MPEG标准	流媒体、音乐、广播标准
MP3	最普及，专利已过期	音乐存储（逐渐淘汰）
Opus	超低延迟，自适应码率，开源	WebRTC、实时语音、游戏语音
Vorbis	开源，无损/有损	游戏、音乐（被Opus替代）
FLAC	无损压缩，开源	音乐发烧友、归档
ALAC	Apple无损	Apple生态
Dolby Digital (AC3)	5.1声道，影院标准	蓝光、影院、电视
Dolby Atmos	对象导向，3D音频	影院、高端家庭影院

三、音视频格式（Container Format）

格式定义了数据如何存储，即编码后的音视频数据如何封装成文件，包含视频流、音频流、字幕、元数据等。

1. 常见封装格式

格式	扩展名	支持编码	特点	应用
MP4	.mp4	H.264/H.265/AV1 + AAC/MP3	最通用，支持流媒体，元数据丰富	网络视频、手机录像、点播
MKV	.mkv	几乎所有编码	开源，功能强大，支持多音轨/字幕	高清收藏、动漫、电影
WebM	.webm	VP8/VP9/AV1 + Vorbis/Opus	Google推动，网页优化	YouTube、HTML5视频
MOV	.mov	ProRes/H.264/AAC	Apple原生，专业编辑友好	专业剪辑、iPhone录像
AVI	.avi	较老，限制多	早期Windows格式，逐渐淘汰	老旧系统兼容
FLV	.flv	H.264/VP6 + MP3/AAC	Flash时代，RTMP推流常用	传统直播推流
TS (Transport Stream)	.ts	H.264/H.265/AVS	广电标准，容错性强	数字电视、HLS切片
M3U8	.m3u8	索引文件，指向TS片段	HLS播放列表	移动端直播、点播

2. 专业/特殊格式

格式	用途
MXF	广电专业交换格式，支持元数据
ProRes	Apple专业编辑编码，帧内压缩
DNxHD/DNxHR	Avid专业编辑格式
RAW	相机原始传感器数据，未压缩或轻压缩
GIF/WebP/APNG	动画图片格式

四、三者的关系图解

原始音视频数据
    ↓
[编码/Codec] → 压缩为H.264视频流 + AAC音频流
    ↓
[封装/Container] → 打包为MP4/MKV等文件（包含音视频流+字幕+元数据）
    ↓
[传输/Protocol] → 通过HLS/RTMP/WebRTC等协议网络传输
    ↓
终端解码播放

实际组合示例

场景	协议	视频编码	音频编码	封装格式
抖音/快手直播	WebRTC/私有协议	H.264	AAC	FLV/私有
微信视频通话	WebRTC	H.264/VP8	Opus	无（实时传输）
B站/YouTube点播	HLS/DASH	H.264/VP9/AV1	AAC/Opus	MP4/WebM → 切片为TS
央视4K频道	广电协议	AVS2/AVS3	DRA/AAC	TS
电影院DCP	硬盘传输	JPEG2000	PCM/AC3	MXF
专业剪辑	本地文件	ProRes/DNxHR	PCM	MOV/MXF

五、选择建议

1. 网页播放：优先 HLS (H.264/AAC) 或 WebRTC，逐步迁移到 AV1

2. 实时互动：WebRTC + VP8/H.264 + Opus

3. 4K/8K存储：HEVC 或 AV1，封装 MKV/MP4

4. 专业制作：ProRes/DNxHR，后期再转码

5. 中国广电：遵循 AVS+/AVS2/AVS3 国标

这三者共同构成了音视频技术的核心框架：编码决定质量与大小，封装决定组织方式，协议决定传输方式。现代技术趋势是向更高压缩率（AV1/VVC）、更低延迟（WebRTC/SRT）和更开放标准（开源免专利费）发展。

​