音视频基础

音视频技术科普

视频怎么生成的？

视频包含图像(RGB)和音频(PCM)，视频编码 AVC和HEVC，音频编码 AAC，然后复用成 MP4 等格式的视频

音视频基础框架介绍:

FFmpeg、GStreamer、opencv、openGL

用途:

编解码处理 FFmpeg GStreamer
图像分析 opencv
复杂图像生成 OpenGL

音视频细致围绕的主题：播放和采集

播放原理：

解复用器->音频包队列（AAC）->音频解码->采样帧队列->音频处理

​				-> 视频包队列(H264)->视频解码-> 图像帧队列->图像处理

采集原理:

麦克风->采样帧->音频处理->采样帧队列->音频编码->音频包队列->复用器（音视频封装）

摄像头->图像帧->图像处理->图像帧队列->视频编码->视频包队列->复用器（音视频封装）

视频一些基础概念

视频码率:视频文件在单位时间内使用的数据流量，码率越高越清晰，反之

视频帧率:FPS：帧率越高，给人视觉就越流畅

视频分辨率:影响视频图像的大小

I、P、B帧

I帧:I帧不需要参考其他画面而生成，解码时仅靠自己就重构完整图像（能独立解码，也是视频第一个出现的关键帧）
P帧:解码参考前一帧的不同点来压缩本身数据
B帧:采用双向时间预测，参考前后两帧来压缩数据

音频基础技术

采样频率:每秒钟采样的点的个数
采样精度:每个点的大小，常用大小为 8bit , 16bit,24bit
通道数:单声道、双声道、四声道