camera基础知识点笔记

1. 感光原理

Camera Sensor是由数百万上千万数量小方块的CCD或CMOS感光元件（简称像素），以平面阵列方式排列组成，其感光原理是于感光元件表层上整合RGB（红、绿、蓝）三原色的滤镜，通过对一个一个的感光点对光进行采样和量化形成图像。Sensor中每一个感光点只对应一个彩色滤光片，因此只能感光RGB中的一种颜色。通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。如果一台拥有一千二百万像素的数码相机，明显地就是最少12,000,000小方块的感光元件了。

Sensor的彩色滤镜阵列元件，基本上是采用了Bayer图样（RGRG/GBGB排列如上图）的排列方式，实现RGB三原色滤镜依序，以Striped Array（条状阵列）形式，红、蓝、绿相互交替，各施其职，分别去 “捕捉” 三原色的光能量。以光学的角度而言，应该说成是光线通过镜头的不同镜片组，投射抵达至整合了Bayer图样的条状阵列RGB滤镜的图像传感器，而图像传感器记录了进光量的电荷，转成数字参数，成为了RAW文件的图像信息即RAW DATA。

绿色滤镜元件，是红、蓝的2倍，只因人类眼睛识别颜色不是线性的，我们的眼睛对于绿色，显然是比较敏感。因此护眼常识都在鼓励人们多看绿色的缘故。理论上RGB的3原色滤镜数量比例是1: 2: 1。

Bayer RGB是属于 RGB RAW data的，但是 RGB RAW data不一定是Bayer pattern。Sensor输出的RAW格式图像大小取决于自身特性与配置，例如某款Sensor配置为10-bit RGB RAW并且图像尺寸为1024768，那么单帧图像大小为1024768*10bit=7680kb。

当然也有些Sensor内置格式转换单元，可以直接输出YUV数据或者RGB数据。

2. 输出接口-DVP

DVP（Digital Video Port） 是传统的sensor输出接口，采用并行输出方式，数据位宽有8bit、10bit、12bit、16bit等，是CMOS电平信号（重点是非差分信号）。

几个信号：

PCLK：pixel clock ,像素时钟，每个时钟对应一个像素数据；
HSYNC：horizonal synchronization，行同步信号；
VSYNC：vertical synchronization，帧同步信号；
DATA：像素数据，视频数据，具体位宽要看ISP是否支持；
MCLK：或者XCLK，ISP输出驱动sensor的时钟；
SCL，SDA：I2C用来读写sensor的寄存器，配置sensor。

PCLK、HSYNC、VSYNC对应关系
ISP与Sensor通过DVP接口连接，ISP首先会给Snsor一个MCLK，sensor内部的PLL会对计算，产生PCLK，PCLK由幅面（F_W、F_H）、帧率（FPS）决定，并存在如下关系：

PCLK = F_W * F_H * FPS

以F_W = 3556，F_H = 1125，A_W = 1920， A_H = 1080，FPS = 25（1080P25）为例，说明几个对应关系：

• PCLK是一个像素传输的时间，所以HSYNC时间是PCLK的3556倍；

• 在这3556个像素中，只有1920个像素是有效的（A_W大小），在剩下的1636个像素点时间内sensor是不传输数据的；

• VSYNC是帧同步信号，所以VSYNC时间是PCLK的3556*1125倍；

• 同样只有在1920*1080个有效像素时间内，sensor在传输数据；

3. 输出接口-MIPI

MIPI=Mobile Industry Processor Interface, 是类似SMIA的一个LVDS的一种接口，其规范在不断修改和改进，目前比较成熟的接口应用有DSI(显示接口)和CSI（摄像头接口）。

CSI/DSI的物理层（Phy Layer）由专门的WorkGroup负责制定，其目前的标准是D-PHY。

D-PHY采用1对源同步的差分时钟和1～4对差分数据线来进行数据传输。数据传输采用DDR方式，即在时钟的上下边沿都有数据传输。

相比于DVP，主要优点有：

（1）Camera模块布线大大减少。并口的数据接口，如果是YUV输出至少为8个数据Bit、2个Clock(MCLK和PCLK)、I2C两个、同步信号2个，再加地和电源等，如果换成MIPI的串口，

可以减少2个同步信号，8个数据Bit变为DOUT_P、DOUT_N、CLK_P、CLK_N，PCLK也可以不要，布线自然方便许多。

（2）Noise的减少。走线越多被干扰的可能就越多，走线少了于是干扰就少了，同时MIPI信号是DOUT_N和DOUT_P成对走线，需要考虑impedance，两根线从波形

看是成反相，所以有外部干扰过来，就会被抵消很大部分，同时MIPI的信号属于LVDS(Low Voltage Differential Signaling：低压差分信号传输)底到MV的等级，本身对于外部的干扰也是很小的。

（3）传输速度极快，从并口到串口，当然要足够大的速度，MIPI最大支持4通道数据传输、单线传输速度高达1Gb/s（DPHY），而传统的并口再高也不过600MB/s。

（4）功耗低。并口的Camera，只要上电，给Clock于是PCLK就有输出，Data也会由输出，抓不到同步就成不了像，但是数据还是输出，于是就要功耗。而MIPI理论上静态是没有功耗的。

4. 调试注意点

需要根据Sensor的Spec安排上电时序，例如：

The OV13850 uses three power supplies: 2.8V AVDD, 1.8V DOVDD and 1.2V DVDD.
To avoid any glitch from a strong external noise source, OmniVision recommends controlling XSHUTDOWN or PWDNB
by GPIO and tying the other pin to DOVDD.
Whether or not XSHUTDOWN is controlled by GPIO, the XSHUTDOWN rising cannot occur before AVDD or DOVDD.

1. 感光原理

Camera Sensor是由数百万上千万数量小方块的CCD或CMOS感光元件（简称像素），以平面阵列方式排列组成，其感光原理是于感光元件表层上整合RGB（红、绿、蓝）三原色的滤镜，通过对一个一个的感光点对光进行采样和量化形成图像。Sensor中每一个感光点只对应一个彩色滤光片，因此只能感光RGB中的一种颜色。通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。如果一台拥有一千二百万像素的数码相机，明显地就是最少12,000,000小方块的感光元件了。

Sensor的彩色滤镜阵列元件，基本上是采用了Bayer图样（RGRG/GBGB排列如上图）的排列方式，实现RGB三原色滤镜依序，以Striped Array（条状阵列）形式，红、蓝、绿相互交替，各施其职，分别去 “捕捉” 三原色的光能量。以光学的角度而言，应该说成是光线通过镜头的不同镜片组，投射抵达至整合了Bayer图样的条状阵列RGB滤镜的图像传感器，而图像传感器记录了进光量的电荷，转成数字参数，成为了RAW文件的图像信息即RAW DATA。

绿色滤镜元件，是红、蓝的2倍，只因人类眼睛识别颜色不是线性的，我们的眼睛对于绿色，显然是比较敏感。因此护眼常识都在鼓励人们多看绿色的缘故。理论上RGB的3原色滤镜数量比例是1: 2: 1。

Bayer RGB是属于 RGB RAW data的，但是 RGB RAW data不一定是Bayer pattern。Sensor输出的RAW格式图像大小取决于自身特性与配置，例如某款Sensor配置为10-bit RGB RAW并且图像尺寸为1024768，那么单帧图像大小为1024768*10bit=7680kb。

当然也有些Sensor内置格式转换单元，可以直接输出YUV数据或者RGB数据。

2. 输出接口-DVP

DVP（Digital Video Port） 是传统的sensor输出接口，采用并行输出方式，数据位宽有8bit、10bit、12bit、16bit等，是CMOS电平信号（重点是非差分信号）。

几个信号：

PCLK：pixel clock ,像素时钟，每个时钟对应一个像素数据；
HSYNC：horizonal synchronization，行同步信号；
VSYNC：vertical synchronization，帧同步信号；
DATA：像素数据，视频数据，具体位宽要看ISP是否支持；
MCLK：或者XCLK，ISP输出驱动sensor的时钟；
SCL，SDA：I2C用来读写sensor的寄存器，配置sensor。

PCLK、HSYNC、VSYNC对应关系
ISP与Sensor通过DVP接口连接，ISP首先会给Snsor一个MCLK，sensor内部的PLL会对计算，产生PCLK，PCLK由幅面（F_W、F_H）、帧率（FPS）决定，并存在如下关系：

PCLK = F_W * F_H * FPS

以F_W = 3556，F_H = 1125，A_W = 1920， A_H = 1080，FPS = 25（1080P25）为例，说明几个对应关系：

• PCLK是一个像素传输的时间，所以HSYNC时间是PCLK的3556倍；

• 在这3556个像素中，只有1920个像素是有效的（A_W大小），在剩下的1636个像素点时间内sensor是不传输数据的；

• VSYNC是帧同步信号，所以VSYNC时间是PCLK的3556*1125倍；

• 同样只有在1920*1080个有效像素时间内，sensor在传输数据；

3. 输出接口-MIPI

MIPI=Mobile Industry Processor Interface, 是类似SMIA的一个LVDS的一种接口，其规范在不断修改和改进，目前比较成熟的接口应用有DSI(显示接口)和CSI（摄像头接口）。

CSI/DSI的物理层（Phy Layer）由专门的WorkGroup负责制定，其目前的标准是D-PHY。

D-PHY采用1对源同步的差分时钟和1～4对差分数据线来进行数据传输。数据传输采用DDR方式，即在时钟的上下边沿都有数据传输。

相比于DVP，主要优点有：

（1）Camera模块布线大大减少。并口的数据接口，如果是YUV输出至少为8个数据Bit、2个Clock(MCLK和PCLK)、I2C两个、同步信号2个，再加地和电源等，如果换成MIPI的串口，

可以减少2个同步信号，8个数据Bit变为DOUT_P、DOUT_N、CLK_P、CLK_N，PCLK也可以不要，布线自然方便许多。

（2）Noise的减少。走线越多被干扰的可能就越多，走线少了于是干扰就少了，同时MIPI信号是DOUT_N和DOUT_P成对走线，需要考虑impedance，两根线从波形

看是成反相，所以有外部干扰过来，就会被抵消很大部分，同时MIPI的信号属于LVDS(Low Voltage Differential Signaling：低压差分信号传输)底到MV的等级，本身对于外部的干扰也是很小的。

（3）传输速度极快，从并口到串口，当然要足够大的速度，MIPI最大支持4通道数据传输、单线传输速度高达1Gb/s（DPHY），而传统的并口再高也不过600MB/s。

（4）功耗低。并口的Camera，只要上电，给Clock于是PCLK就有输出，Data也会由输出，抓不到同步就成不了像，但是数据还是输出，于是就要功耗。而MIPI理论上静态是没有功耗的。

4. 调试注意点

需要根据Sensor的Spec安排上电时序，例如：

The OV13850 uses three power supplies: 2.8V AVDD, 1.8V DOVDD and 1.2V DVDD.
To avoid any glitch from a strong external noise source, OmniVision recommends controlling XSHUTDOWN or PWDNB
by GPIO and tying the other pin to DOVDD.
Whether or not XSHUTDOWN is controlled by GPIO, the XSHUTDOWN rising cannot occur before AVDD or DOVDD.

MIPI CSI-2 协议解析
http://dljz.nicethemes.cn/news/show-194210.html

在前面介绍D-PHY的文章中有提到过，当系统进入LP模式时，Clock Lane上的差分时钟可以设置为关闭，或者继续运行。对于那些在LP模式下（换一种说法就是，在两次HS模式之间），差分时钟信号仍然有效的系统，称之为持续时钟行为（Continuous Clock Behavior）；而对于那些在LP模式下，将差分时钟信号切断的系统，则称之为非持续时钟行为（Non-Continuous Clock Behavior）