isp处于整个成像系统的中心地位。
isp功能
器件控制
- 控制sensor的shutter（快门）、gain（增益）
- 控制镜头变焦、聚焦
- 控控制镜头的光圈
- 控制滤光片的切换
- 补光灯控制
格式转换
- rag转rgb
- rgb转yuv
- yuv转hsi
- yuv444转yuv420等
画质优化
- 原始图像修正（光通量不均匀、有畸变）
- 颜色管理
- 降噪
- 动态范围控制
- 清晰度、锐度提升
- 后处理
- 数字去抖
下面左图是没有画质优化的，右图是经过isp画质优化的。
isp算法流程
-
horizontal flip：做水平翻转
-
test pattern：isp内部产生测试图像，isp内部调试使用
- black level correction：黑电平矫正，黑电平是指图像数据为0时对应的信号电平，进行黑电平矫正的目的；一是由于sensor本身会存在暗电流，导致在没有光照进来的条件下pixel也有电压输出，不过这部分一般在sensor端就已经处理掉了，还有一个原因是因为sensor进行模数转换时精度不够，以8bit为例，每个pixel有效范围是0-255，sensor可能无法将接近于0的信息转化出来，由于人眼特性（对暗处细节比较敏感，）所以sensor厂商一般在转换时会加一个固定的偏移量使像素输出在5（非固定值）—255之间，然后传输在isp端再做一个减法，将5（非固定值）变为0
- bad pixel correction：坏点消除
- lens shadow correction：镜头阴影矫正（镜头缺陷、光通量不均匀）
- af statistics in raw：af统计信息
- cfa interpolation：去马赛克，将raw转成rgb
- d65 white balance：做标定，使得在d65下面，使得白色的物体呈现白色
- awb statistics：做完d65 white balance后可以做awb 统计信息
- awb：awb算法根据色温值做白平衡矫正
- ccm：3×3的颜色矩阵，目的是让成像系统颜色符合人眼睛看到的颜色。awb已经将白色校准了，ccm就是用来校准白色除白色以外其他颜色的准确度的，用一个3x3的ccm矩阵来校准, 其中每一列系数r1 g1 b1等于一个恒定值1。ccm矫正最终结果可以通过拍摄24色卡图片然后用imatest分析来做分析参考
- gamma：gamma矫正，原因是人眼睛的非线性特性，亮度发生变化时，人眼感受到的不是成倍的关系
- csc：rgb到yuv色彩空间转换
- ae statistics：ae统计信息
- 2dnr：空间域降噪
- 3dnr：时间域降噪
- af statistics in yuv：af 统计信息
- local tone mapping：图像每一个局部区域都足够清晰
- sharpness：锐化让图像变得更清晰
- wdr：宽动态算法让图像的动态范围变得更大
- post-process：后处理
- ldc：镜头畸变矫正
- de-shaking：防抖