ISP（Image Signal Processor）关键技术指标

什么是ISP

一句话定义ISP：ISP就是把传感器吐出来的RAW电信号处理成可用于人眼、算法的图像数据的一整套“信号处理流水线”。

上面这张图是传统ISP流水线到AI ISP的演变。 （1）传统的ISP 传统的ISP，把传感器的RAW变成“人眼看起来好看”的sRGB图像，设计目标是给显示、编码、存储。核心指标是好看、稳定、符合显示标准。

名字	是什么（一句话）	在干嘛（直观理解）	不做会怎样	背后的直观原理
RAW	相机刚拍出来的“底片”	又暗又花，还是马赛克	人和算法几乎都用不了	传感器每个像素只看到一种颜色
Pre-Processing	修相机自己的毛病	修坏点、去黑边、补暗角	图像天生就歪、不均匀	把硬件缺陷在最早阶段修掉
Noise Reduction	去“雪花噪点”	把随机的脏点抹掉	图像像下雪，细节被噪声淹没	噪声是乱的，真实图像是连续的
Demosaicing	把马赛克变成彩色图	给每个像素补齐 RGB	画面全是格子，看不清	用邻居像素“猜”缺失颜色
White Balance	修正灯光颜色	让白的东西真的是白的	一会儿偏黄一会儿偏蓝	给 R/G/B 不同放大倍数
Color Space Transform	换颜色表达方式	从“相机语言”换成“通用语言”	不同设备颜色对不上	颜色坐标系的数学转换
Color Mapping	调色 / 美颜	让颜色更鲜艳、舒服	颜色发灰、发闷	用查表/曲线改颜色分布
Tone Mapping	调明暗	亮的压暗，暗的提亮	不是过曝就是全黑	用非线性曲线压亮度范围
Color Space Transform	输出前再转一次格式	变成显示/编码能用的格式	没法显示、没法存	适配显示/视频标准
sRGB	最终给人看的照片	手机上/屏幕看到的图	——	人眼友好的标准颜色空间

3A是什么？

名字	全称	一句话白话
AE	Auto Exposure	自动调亮度
AWB	Auto White Balance	自动调颜色
AF	Auto Focus	自动对焦

（2）Separate ISP & High-Level Vision 工业界的常见做法，特点仍然是为“人民服务”，被迫适应ISP输出。

RAW → ISP → RGB → Downstream Network

step 1：摄像头通过ISP把RAW变成漂亮的sRGB图片，让人看起来舒服。
step 2：Down-Stream Network（下游网络，即 AI）接收这张 sRGB 图片，进行 Detection（检测）或 Segmentation（分割）。

问题就是，ISP 为了让人眼舒服，可能会做“有损处理”。例如，为了降噪，把远处的纹理抹平了；或者为了 HDR，把原本线性的光照关系破坏了；AI 实际上是在“吃”人眼剩下的残羹冷炙。这就是为什么很多时候，人眼看着清楚，但 AI 识别率却上不去的原因。 （3）AI驱动的ISP 这是高端 AI 芯片（如自动驾驶芯片）正在探索的方向。原理：不再使用固定的 ISP 参数。而是把 ISP 看作是一个可学习的网络 (ISP Network) 或者可调参数的模块 (Tunable ISP)。

Backpropagation（反向传播）：注意那条虚线箭头。这意味着，如果 AI 识别错了，误差会反向传导回 ISP，告诉 ISP：“你刚才处理得不对，下次参数改一下。”
结果： ISP 不再为了“好看”而工作，而是专门为了“AI 识别率高”而工作。输出的图像可能人眼看着很怪（比如颜色发紫、对比度极高），但 AI 能够看清每一个细节。

（4）真正的端到端训练ISP 保留传统的ISP框架，在关键点引入可学习模块，输入/模型级的适配。旨在解决 (c) 方案太复杂、太难训练的问题。原理：不完全抛弃传统 ISP，也不完全重写 ISP。而是在 RAW 数据和下游 AI 网络之间，插入一个轻量级的 Adapter（适配器）。

Learnable ISP stages：让一小部分 ISP 功能变得“可学习”，专门把 RAW 数据转换成 AI 最喜欢的格式。
优势：既利用了 RAW 数据的丰富信息，又不需要重新设计整个复杂的 ISP 硬件。

ISP的关键指标

图像质量（Image Quality, IQ）

这部分是最传统、也是厂商最爱卷的部分，关键的子指标如下：

指标	它解决什么问题	原理直觉
去噪 NR	低照、夜景噪声	空域/时域滤波
HDR / WDR	逆光、强对比	多曝光合成 / 曲线压缩
去马赛克 Demosaic	RAW → RGB	插值 + 边缘保护
色彩还原	偏色、发灰	CCM / 3D LUT
锐化	发虚	高频增强
去雾	雾霾	对比度恢复模型