汽车图像传感器的最新发展和趋势

作者：techinsights

关于汽车世界，博物馆可能是一个关于汽车运输未来的会议最合适的地点。它收藏了大量从20世纪初到60年代和70年代的老式汽车(由马希家族收藏)。它与展出的配备先进驾驶辅助系统(ADAS)的新兴汽车并排展出，突显了汽车行业已经经历(并仍在经历)的技术之旅的反差。

2022年9月12日至15日，在布鲁塞尔AutoSens 2022邀请了主要的行业利益相关者，包括CMOS图像传感器(CIS)供应商Onsemi、索尼、OmniVision和三星、图像信号处理(ISP)供应商的子公司nextchip和人工智能芯片供应商GEO Semiconductor。参加会议的激光雷达/ 3D传感公司包括Baraja、三星先进技术研究所(SAIT)、Cepton、TriEye、Algolux和IMEC。   这个博客提供了一些来自布鲁塞尔AutoSens的CMOS图像传感器的最新发展和趋势。    

安森美

Onsemi展示了他们最新的高动态范围 (HDR) 图像传感器的工作，该传感器结合了用于 ADAS/AV 应用的 LED 闪烁缓解 (LFM)。新的汽车传感器（据报道是 AR0823）具有 8.3 MP 的分辨率和 2.1 µm 的像素间距。   根据 Onsemi 的说法，ADAS 汽车应用需要 8 MP 量级的分辨率来解析小物体，例如砖块或岩石，或者更远距离（100 米）的骑自行车者或行人等较大物体。在高动态范围 (HDR) 方面，AR0823 采用 Onsemi 的超曝光 (SE) 像素技术，配备非常大的全阱容量 (FWC) 光电二极管和像素内溢流电容器 (OFC)，可提供业界报告的最高总动态范围为 150 dB。   这样的动态范围是在两次连续（交错）曝光中实现的，第一次“长”曝光捕获较低照明范围，提供约 110 dB，而第二次“较短”曝光捕获更高照度并提供剩余约 40 dB HDR . Onsemi 报告了动态范围内的最小图像模糊和完整的 LFM 功能。LED 闪烁主要是通过第一次曝光捕获的，在此曝光中实现了完整的 LFM 功能。

图 2. 不同高动态范围 (HDR) 策略的比较（来源：Onsemi 在 Image Sensors Europe 2022 上的演示）。   Onsemi 将这款 2.1 µm 像素间距高 FWC + OFC 传感器的性能与竞争的 2.1 µm 和 3.0 µm 分离光电二极管像素设计进行了比较。在某些光照和温度条件下，Onsemi 报告说，单次超曝光技术在整体信噪比 (SNR) 和调制传递函数 (MTF) 方面具有优势，从而可以在角落情况下更好地检测物体。   Onsemi 还在开发具有相同 150 dB HDR 范围的较低分辨率的 3.0 MP 传感器，预计将很快发布。AR0823 和更新的传感器都具有滚动快门，据 Onsemi 称，它提供高达 ~ 60 fps 的输出，足以满足当前的汽车场景，同时避免全局快门像素复杂性和成本。   根据 Onsemi 的说法，汽车摄像头的要求是由要检测的物体范围和检测标准来定义的。对于物体识别，整个物体的高对比度图像需要 8 个像素，而物体识别需要 16 个像素。鉴于 ADAS 摄像头需要检测道路上小至石头或砖块的物体，因此 ADAS 应用需要大约 8 MP 的分辨率。然而，这取决于所使用相机的视野 (FOV)。较低的 FOV 可以适应较低分辨率的 CIS，但约 140 度及以上的较高 FOV 相机可能需要更大的分辨率。   由于大多数 OEM 更喜欢光学格式约为 1/3” 至 1/2” 的小传感器封装尺寸，因此必须选择像素间距以满足此类标准，而不会在低照度下失去灵敏度。除了 ADAS 用例外，Onsemi 还将其约 8 MP 分辨率传感器调整为适用于驾驶员监控和乘员监控系统 (DOMS) 的车内用例。    

索尼

索尼展示了其用于汽车图像传感器的“富士”像素架构的工作。索尼还采用了 8 MP、2.1 µm 像素间距的 CIS，索尼认为这是前置感应汽车 CIS 的主流。此外，索尼表示，这种更大的分辨率还可以满足汽车原始设备制造商希望将单一类型的相机用于多种用例的愿望，从而有助于标准化集成。   索尼的“富士”传感器架构使用相当复杂的像素设计实现了高动态范围。它采用分体式光电二极管 (PD) 方法、用于低照度的大 PD 和用于更高光照水平的小 PD。小型 PD 包含一个像素内过流电容器，可进一步扩展动态范围以实现高照度水平。“富士”像素还在大型光电二极管上集成了双转换增益，用于中间照明的低转换增益和用于非常低光照水平的高转换增益。   因此，这种像素架构比单次曝光的大 FWC 像素涉及更多，但索尼认为这种折衷设计会产生最佳的整体 SNR 和动态范围。三个像素读数的同时曝光提供了大约 108 dB 的动态范围。通过增加大光电二极管的第 2 次短时间曝光（低增益），可以处理极高的光照，例如直射阳光。据索尼称，这种方法在中等温度条件下可实现 130 dB 的整体动态范围。图 3 再现了 Sony 提供的时序。

图 3. 索尼“富士”像素 HDR 读数（基于 Sony AutoSens 2022 演示文稿）。   在输出方面，索尼讨论了优化汽车使用的图像格式的方法，其中同时生成 RAW 和 YUV 输出以用于传感和查看。目前，图像传感器 RAW 管道输出针对计算机视觉（传感）进行了优化。YUV 颜色感知编码的图像处理是在下游完成的，并且使用不是最佳的 RAW 输入。通过为每个 RAW 和 YUV 图像处理集成一个单独的专用 ISP 芯片，人们可以独立处理图像并提高每个用例的图像质量，并为多个用例标准化相机系统架构。如果采用这种方法，它将由 CIS + ISP1 + ISP2 的三重堆叠传感器组成，作为索尼汽车传感器的未来（图 4）。  

图 4. 索尼提出的集成双 ISP 的 CIS。

豪威科技

豪威科技展示了汽车图像传感器在分辨率、帧速率和整体数据速率方面的几种趋势。对于分辨率，OmniVision 计划提高 ADAS / AV 摄像机的分辨率，可能高达 15 MP。对更高分辨率的需求是双重的，第一是为了在更远的距离处对物体进行最佳检测。这提供了在较高速度下尤其重要的早期检测，例如在高速公路上。   第二个因素是增加视野。OEM 对更大的 FOV 相机越来越感兴趣，以限制未来相机的总数。更大的 FOV 意味着需要更大的角分辨率，因此需要更大的 CIS 分辨率。对于环绕观看，OmniVision 还预见到将分辨率提高到当前 3 MP 以上的趋势。也就是说，当前的观看分辨率主要取决于车内显示器的分辨率，但未来更大的显示器将需要超过 3 MP 的更好的 CIS 观看分辨率。   除了 CIS 分辨率，汽车传感器的输出帧速率预计将从当前的 30 fps 增加到 45 甚至 60 fps，具体取决于分辨率，但对于 4/5 级自主性尤其需要。这些更高的 CIS 分辨率和帧速率意味着未来汽车成像的整体数据速率要高得多，这将需要更大的处理能力。更重要的是，它将需要更好的数据质量和更少的不确定性。换句话说，相机级别的片上功能、信息处理和审查越多，整体系统性能就越好、越快（图 5）。  

图 5. 随着分辨率、帧速率的提高而提高数据速率。   为促进此类功能，OmniVision 还预测了更大的图像传感器集成度，以及从当前 ISP 芯片同时容纳模拟和数字电路的 2-Die 堆叠成像器到模拟和数字逻辑被隔离到专用 Die 中的 3-Die 堆叠的过渡。这允许优化每个芯片的工艺技术，并提供更小的芯片尺寸和更低的功率（图 6）。

图 6. OmniVision 预测具有专用模拟和数字 ISP 芯片的 3 芯片堆叠汽车传感器。

三星

Samsung 没有展示其汽车图像传感器，但在其展位上展示了两个传感器。传感器是 3B6，3MP (1920 x 1536) RGB 图像传感器，具有 3 µm 像素间距的环绕视图，以及更高分辨率的 8.3 MP (3840 x 2160) RGB 传感器，1H1 具有更小的 2.1 µm 像素间距，用于前感应和查看应用。这两款传感器都采用三星的分离式光电二极管“CornerPixel”架构，并且已经部署了相当长的一段时间。   据三星称，滚动快门足以满足当前 ADAS 应用的帧速率要求，但车内/DMS 用例确实需要全局快门功能。因此推测上述两个传感器确实是卷帘快门，因为三星尚未报告用于驾驶员/客舱监控的专用传感器。有趣的是，三星此前公布的汽车传感器 4AC，也被报道有 CornerPixel，但并未被观察到，也没有在 AutoSens 上展出。   也就是说，据报道，三星目前正在开发一款分辨率为 15 MP 的汽车传感器，很可能是 1P1，并且也适用于 Front 传感应用，尽管尚未正式宣布。  

图 7. 三星汽车图像传感器产品总结。预计1P1，但尚未正式宣布。

意法半导体

STMicroelectronics 展示了其新发布的车内传感器 VB1940 / VD1940，这是一款堆叠背照式 4×4 RGB-NIR 图案（用于 940nm 增强检测的 NIR 滤光片）。它的主要应用是驾驶员监控和客舱监控。   对于驾驶员监控，传感器性能被证明可以有效且快速地检测眼睛注视，即使是在远处，也可以在受试者佩戴眼镜的情况下进行。VB1940 / VD1940 还具有两种快门模式，全局快门用于检测快速移动（如眼睛注视）和卷帘快门，用于其他机舱乘客监控用例。它具有 5.1 MP 分辨率，2.25 µm 像素间距，在滚动快门模式下线性动态范围高达 100 dB。ISP 提供片上拜耳化或 NIR 升级（图 8）。

图 8. 具有 4×4 模式 RGB-NIR 和片上 ISP BayerizaTIon或NIR Upscale 的 STMicroelectronics 车内 DMS/OMS。   STMicroelectronics 还展示了 VB56G4A，这是一款 1.5MP 单色 (NIR) 传感器，具有 2.61 µm 像素间距，也采用全局快门堆叠背照式。据 STMicroelectronics 称，VB1940 / VD1940 和 VB56G4A 传感器均采用电压域全局快门，在电荷到电压转换后存储光生信号。   用于像素存储的金属-绝缘体-金属 (MIM) 电容器在 CIS 中实现。在此，考虑了特殊的预防措施，以降低 CIS 中 MIM 存储电容器的寄生光敏感度 (PLS)，以实现有效的快门。据 STMicroelectronics 称，这有助于降低与在堆叠 ISP 中实施全局快门存储相关的传感器成本。