如何迎接迎接车载图像处理挑战

ADAS及自动驾驶的视觉感知竞争正在进入纵深阶段，这其中，高像素摄像头已经成为趋势，而关乎图像处理质量的ISP已经成为竞争高地。

ISP的存在感越来越强，不只是在手机上，汽车市场的需求也已经明确释放。

ICV Tank数据显示，2021年全球单车平均配置摄像头数量为2.3颗，相比2020年的1.3颗大幅提高；预计到2026年，全球单车平均配置摄像头数量将达3.8颗。全球汽车前装摄像头总量将从2021年的1.65亿颗增长至2026年的3.7亿颗，年复合增长率达16%。

早期的车载摄像头常用于行车记录、倒车影像、泊车环视等。随着车载摄像头在汽车领域的广泛应用，如今逐步延伸到智能座舱内行为识别、ADAS辅助驾驶等。受益于车载摄像头的快速增长，或者说，受益于汽车智能视觉的旺盛需求，ISP处理器在汽车应用中有望持续增长。

迎接车载图像处理挑战

ISP(Image Signal Processor)，即图像信号处理器，作为车载摄像头的重要组成部分，主要作用是对前端图像传感器CMOS输出的信号进行运算处理。借助ISP，车载摄像头才能看清楚细节和周围环境，从而指导车辆做出下一步决策。也就是说，ISP 所要做到的就是：将“数字眼睛”的视力提高到“人类眼睛”的水平，使数字图像的成像效果尽可能接近人眼看到的实景。

不过，现实环境中的图像处理充满了挑战，典型挑战主要存在于以下五大场景中：首先是夜间，低照度环境下视频会有大量的噪点，颜色纹理出现失真；其次是强烈明暗反差情况下，比如逆光拍摄，容易导致细节缺失；第三是环境快速变化过程中，比如驶出隧道口的时候，曝光要不断调整，容易出现盲区甚至安全隐患；第四是快速移动造成的视频抖动；第五是恶劣天气（比如雨、雪、雾）情况下的识别困难和可视距缩短的情况。

以上都是行车中常有的场景，但是给图像处理带来很大挑战。

哪些途径可以解决这些问题？加大图像传感器的感面，或是加大镜头的充光量，固然可以从一定程度上进行补偿，但这也意味着成本的大幅增加。而ISP硬件和AI算法相结合的方案，可以通过算法进行优化，在确保成本的同时提升图像处理的质量。

独立还是集成？

ISP三大派系的角力

从车载ISP方案当前的设计来看，主要存在三种路线：独立ISP、ISP集成于视觉处理器SoC、ISP与车规级CMOS图像传感器集成。

独立ISP以富瀚微为代表，该公司方面称，高分辨率摄像头是趋势，独立ISP的优势在于图像效果是第一位的，同时可以配接不同的传感器，方案灵活，能够满足用户的差异化需求。

第二种方案是ISP被集成到视觉处理器SoC中，以英伟达Orin为例，内置ISP每秒可处理64亿像素；而特斯拉第一代FSD芯片，ISP每秒仅能处理10亿像素。

国内市场还有瑞芯微的车载AI视觉产品的RV1126/RV1109，内置安防级ISP和新一代NPU，其安防级ISP内置3F-HDR、3DNR、畸变校正(9ms@1080p)和去雾，图像的优化处理及传输小于30ms，在强光、逆光、弱光、黑光场景下图像细腻清晰。

阿里达摩院也宣布了自研的ISP处理器。据其路测结果显示，使用达摩院ISP处理器，车载摄像头在夜间场景下，图像物体检测识别能力比业内主流处理器有10%以上的大幅度提升，原本模糊不清的标注物也得以清晰识别。

ISP集成到SoC中，意味着可以同时处理多个摄像头数据，实现成本下降。并且，SoC集成ISP性能的不断增强，尤其是支持多个摄像头（高像素）输入，就意味着无需再为每个摄像头传感器提供ISP，从而大幅降低感知硬件的成本。同时，单一ISP可以用于管理不同的传感器和帧速率，适用于功能的不同场景。

第三种方案是ISP与车规级CMOS图像传感器集成。例如思特威的片上ISP二合一图像传感器，在减小车载SoC中心运算负荷的同时，加快处理速度，强化汽车图像处理效能。豪威科技与汽车视觉技术公司Nextchip开发的联合解决方案，为中低端汽车后视镜摄像头（RVC）、环视系统（SVC）和电子后视镜提供高质量图像。

内置ISP的二合一车规级CMOS图像传感器，具有延时低、扩展兼容性高及可配置能力强等特点。通过结合图像传感器和专用ISP的能力，在中低端方案不增加系统配置的情况下，可以实现高质量的图像，降低设计复杂性。并且通过预先调参等优化设计，也能够为后续设计节省调试时间。

以上三种方案基本是当前车载ISP的主流方式，不过各有其优缺点：集成的优势在于高度集成，布线面积更小，但ISP效果不算顶格；并且图像传感器+ISP的方式，随着高像素、高画质的需求不断提升，传感器的尺寸会变大，散热可能会成为问题；独立的ISP性能更优秀，比如高动态氛围多级去噪处理、整体功耗更低等，但是对于下游设计有一定的技术门槛，只有足够丰富的调优经验等，才能充分发挥其全部能力。

不同的技术路线，也催生了商业模式的创新。例如英伟达方面，就和中科创达进行了Jetson和DRIVE的驱动开发和画质调优（ISP Tuning）的合作，目前中科创达拥有英伟达专用实验室，以及基于DRIVE 和 Jetson 两大平台的专业驱动、画质调优、画质测试（IQ test）团队，为其生态伙伴提供全面系统的技术培训和跟踪式问题解答支持。

ISP IP的进击

车载ISP的增长潜力，IP厂商早在六七年前就已看到。

2016年，Arm收购了一家成像技术开发商Apical，其中一个目标应用就是高端车载应用领域的ADAS系统。当时，计算机视觉还处于开发早期阶段，专用的图像计算解决方案显露出一定的增长潜力。

收购之后的第二年，Arm发布了旗下第一款ISP Mali-C71，专门面向ADAS。此后，Arm在该领域不断投入。今年6月，Arm发布Mali-C55，这是 Arm 迄今为止面积最小且可配置性最高的 ISP 产品，它可以识别时速 75 英里 (约 120.7 公里) 速度下移动的车辆车牌。Mali-C55 具备8个独立输入的多摄像头功能，可支持高达 8K 的图像分辨率和 4800 万像素的最大图像尺寸，可通过多种功能实现较高的图像质量。同时，Mali-C55 的芯片面积仅为前几代产品的近一半，并且可提供更强大的功能，大幅减少功耗并延长电池续航时间，与此同时，还降低了这些设备的成本。

本土市场方面，安谋科技于2020年12月推出了自研的首款产品“玲珑” i3/i5 ISP处理器。根据前期的市场反馈，“玲珑”i3/i5 ISP 处理器在宽动态处理效果和信噪比处理水平方面表现较好。依托数字宽动态与融合宽动态结合的算法技术，“玲珑” i3/i5 ISP 处理器达到了像素级的局部宽动态自适应提升，并采用多尺度、多级降噪技术，以支持 2D/3D 自适应降噪，达到更好的信噪比表现。

除了IP厂商，芯片厂商也在加码自研ISP，目的是进一步提升图像效果，树立品牌的差异化特点。比如酷芯微电子，在其AI视觉芯片中就采用了自研的ISP和NPU。其自主研发的ISP在2D降噪、3D降噪、HDR、去雾、EIS等各方面都进行了优化。

黑芝麻也推出了自研的车规级图像处理器NeuralIQ ISP，可支持12路高清相机接入，单芯片每秒可处理15亿像素图像，可以支持多路摄像头并行实时地处理。

车载ISP创新方向？

不论是独立ISP，还是ISP集成于SoC或ISP+图像传感器，每种技术路线的厂商都在争夺ISP的制高点。

有业内人士认为，ISP的增长是确定的，更符合产业需求和用户需求的ISP芯片，应该具备三大特征：

从供应链层面满足需求，具有应对不确定性的弹性，一方面要包含差异化的软硬件基础，另一方面要更注重本土自研的创新。

更高的性能。满足自动驾驶对图像画质更高精度的需求，比如捕捉非常大的视觉动态范围，并且比人眼更精准地识别暗处和明亮的图像细节，以保证行车及路人的安全。

更低的功耗。耗电、发热等问题可能会影响整体部署成本和用户体验，这就要求ISP的创新不能以能效为代价，要更好地满足实现自动驾驶过程中的现实需要。

写在最后

ADAS及自动驾驶的视觉感知竞争正在进入纵深阶段，这其中，高像素摄像头已经成为趋势，而关乎图像处理质量的ISP已经成为竞争高地。

由于摄像头在智能化、分辨率、帧率等方面要求越来越高，智能摄像头除了包含基本的CPU，更多地使用ISP和ML加速器将成为常态。性能强大的ISP处理器，将有助于提升自动驾驶产业链的智能化水平。

基本可以判定的是，低端市场可能会沿用原有架构的产品，但专用处理ISP和ML加速器可能会被越来越多地使用，因为要实现高效的系统设计，为数据类型和处理匹配相应的 ISP非常重要。

ISP对于汽车视觉具有重要意义，随着技术的演进，一些最新的 ADAS 应用，都将对车载图像处理提出更高要求，一方面是高质量的图像获取，另一方面是对图像的快速处理和分析，这就使得越来越多的 ADAS 芯片需要通过ISP对画面进行多重曝光处理、去噪与合成。而随着每辆汽车摄像头数量的增加以及传感器融合技术变得越来越智能，功能强劲的ISP 将会变得越来越重要。