MIPI RAW

MIPI 和 MIPI RAW

• MIPI，Mobile Industry Processor Interface，移动行业处理器接口。为移动设备数据传输规范标准。

• MIPI RAW ，指通过 MIPI 接口传输的 RAW 图像数据。

1 MIPI

MIPI 是一种数据传输协议。分为协议层和物理层。

• 协议层。主要用于定义数据打包格式。由于主要用于相机和屏幕，故分为两种 MIPI CSI-2 和 MIPI DSI 。

  • MIPI CSI-2（Camera Serial Interface 2）相机数据传输
  • MIPI DSI （DisplaySerial Interface）屏显数据拆书

  MIPI CSI-2 和 MIPI DSI 都是定义数据打包格式，数据校验规则，如何通过几条Lane（通道）进行高速传输。

• 物理层。D-PHY。是 CSI-2 数据的物理传输通道。规定了信号的电压摆幅、时钟模式、数据传输模式（高速 HS / 低速 LP）、差分对结构，以及 Lane的数量。

以 MIPI CSI-2 为例，MIPI 数据流转链路如下。

可以看到 CSI-2 层和 D-PHY 层同时存在于 Sensor端 和 SoC端 ，以RX和TX区分发送端和接收端。

CSI-2 层负责打包，D-PHY 层负责将打包好的数据转换成差分信号，经过 PCB 线缆到达另外一端。

1.1 协议层 MIPI CSI-2

在 MIPI CSI-2 协议里，一帧 RAW 数据是由 帧起始包 + 多个行数据包 + 帧结束包 组成的，每个数据包都有 包头（Header）+ 负载（Payload）+ CRC。

一帧 RAW 数据在 MIPI 链路上的结构：

1.2 物理层 MIPI D-PHY

D-PHY。规定了数据传输模式（高速 HS / 低速 LP）、Lane数量，还有信号的电压幅度、时钟模式等。

（1）Lane

Lane是连接发送端和接受端的一对高速差分线，是数据传输的物理线路，既可以是时钟Lane，也可以是数据Lane。

• 时钟Lane：在 High-Speed 模式 时持续发送高速时钟信号，数据 Lane 根据这个时钟采样接收数据。作用类似节拍器。

• 数据Lan：承载实际的图像数据（RAW / YUV 等字节流），CSI-2 支持 1~4 条数据 Lane，数据 Lane 越多，总带宽越大。

（2）两种工作模式

• HS（High-Speed）模式：时钟 Lane 持续不断的运行数据节拍，数据 Lane 在 HS 模式下能达到每 Lane 每秒几百兆到几Gbps的速率，传图像数据用 。

• LP（Low-Power）模式：速度很慢。主要用于控制握手（如开始/结束传输），控制进入退出 HS 模式等。

  一般工作流程为：LP 控制握手 -> HS 图像数据传输 -> LP 控制结束

2 MIPI RAW

2.1 MIPI RAW定义

当人们说 “MIPI RAW” 时，通常是指 Sensor 采集到原始 Bayer RAW 数据，通过 MIPI CSI-2 总线传输。

需要指出，MIPI 协议本身并非只支持 RAW 格式，还支持、YUV、JPEG 等

RAW 格式通常标注为 "RAW10"、"RAW12"、"RAW14"（表示每个像素的位深），在 CSI-2 协议中有固定的 Data Type 编号，比如：

RAW10: Data Type = 0x2B 
RAW12: Data Type = 0x2C 
RAW14: Data Type = 0x2D  

(可以再回头看下 CSI-2 的帧格式)

2.2 MIPI RAW特点

参考文章：https://zhuanlan.zhihu.com/p/553464597 （但这篇文章里面有错误，修改后如下）

一般来说，传感器采集的Raw数据通常为10bit，那么存储Raw数据就需要两个Byte，这将导致其中有6个bit位是空着的，造成空间浪费。MIPI Raw数据则充分利用了这个特性，采用5个Byte，共40bit存储4个Raw数据。其存储格式如下图所示：（也就是上面所说的 按 4Pixel = 5Byte 格式打包）

由MIPI Raw转换到标准Raw数据的转化过程：

代码所示：

//b0-b4分别为从左到右连续读出的五个uint8类型的数据，pix0-pix4为四个像素值
pix0 = ((b4 & 0x03) << 8) | b0;            
pix1 = (((b4 >> 2) & 0x03) << 8) | b1;     
pix2 = (((b4 >> 4) & 0x03) << 8) | b2;     
pix3 = (((b4 >> 6) & 0x03) << 8) | b3;