多维像素－打破“感知即认知”革命的数据模态墙：实现“多传感器数据”到统一“语义空间”

1839年法国歌剧布景画家达盖尔发明的银版照相术，全世界第一台黑白照相机诞生；1935年柯达公司推出多层乳剂彩色胶片，可一次性直接记录自然色彩，彩色照相机诞生，每张照片图像以RGB三原色来记录目标的亮度以及颜色信息；如今昱感微将可见光摄像头、红外摄像头、雷达的探测数据在数据获取时就实时完成“时空对齐”融合，并输出由可见光图像信息、对应像素映射目标的距离/速度/材质信息以及热辐射信息组成的“多维像素”多模态信息——昱感微超级摄像头诞生了。

昱感微超级摄像头采用“多维像素”多模态融合技术，将各传感器的探测数据实时做好“坐标统一，时序对齐”地映射到图像像素上，并以“多维像素”的数据格式输出，建立多传感器的目标与环境多维度感知数据对齐图像像素的统一“语义空间”信息。

以上是一个单帧的基于昱感微的“多维像素”数据格式的图像，可以看到在一帧“多维像素”图像里不仅有高清的图像信息，里面同时还具备了场景里各目标的空间定位信息、反射强度对应的目标材质信息、目标热辐射信息等。我们可以根据图像来感知目标与环境的语义信息，例如哪里是路面、哪里有车、前面的这辆车离右边的自行车前轮有多远等等，都可以从“多维像素”里直接取得这些信息和数据。

昱感微的超级摄像头每秒可输出30+帧“多维像素”感知数据，每一帧“多维像素”图像都包含“时空对齐”处理完成后的多模态感知数据：1）高清可见光图像数据；2）雷达点云数据（感知目标的XYZ ３维空间定位距离信息、反射强度信息等）；3）目标与环境的远红外热辐射感知数据。大家可能会问：为什么要“多维像素”这样的数据格式？是否能将各传感器的探测数据都交给后端域控去处理？其实历史上在柯达推出彩色胶卷前，苏格兰物理学家麦克斯韦曾发明彩色摄影法，用红、绿、蓝滤镜分别拍摄同一物体后再叠加合成彩色照片，并且每张彩色照片的合成都需要完成红、绿、蓝三张图片的拍摄时间与空间对齐，显然这种方法效率过低后续没有再应用了。柯达推出彩色胶卷后大家逐渐只接受RGB三原色一次性直接记录全部自然色彩，拍摄一步完成更高效便捷。如今多模态感知时代已经来临，“多维像素”如同当年彩色胶卷问世，我们需要“多维像素”这样的高效数据模式，可以直接满足系统“超维耦合、异构冗余、多重校验、交互感知、感存一体”的立体空间感知需求。

“多维像素”的数据结构优点：

1）高度统一的“语义空间”：坐标统一，时序对齐，数据同质 ，事件感知；

2）高效的数据分析结构：基于多模态VLM视觉语言模型，并高效支持生成式验证系统；

3）高精度的时空对齐：毫秒级的时间对齐和像素级的空间对齐精度精准还原目标多维属性；

4）高效的数据采集和处理一体化：支持数据的泛化、复用及仿真场景重建；

5）降本增效： 高速数据前融合系统实时感知并降低整体感知系统算力要求、数据传输以及存储成本。

在实时性要求很高的应用场合（比如：汽车自动驾驶，机器人的视觉感知等），“多维像素”在前融合端侧完成实时像素级精度的“坐标统一，时序对齐”是非常有价值的，“多维像素”每个单帧“图像”都包含有丰富的多模态感知数据，将多传感器数据组合成一个统一的语义空间里，能够提供更加高效的方式来处理复杂环境下多源信息融合与目标特性动态认知，对于自动驾驶和机器视觉都极其有用。

目前市场上主流的“多传感器后融合”或者“多传感器混合式数据融合”方式，就像当年麦克斯韦发明的彩色摄影法，用红、绿、蓝滤镜分别拍摄同一物体后再叠加合成为彩色照片；而昱感维的“多维像素”技术就像当年的柯达公司推出多层乳剂彩色胶片一次性直接记录自然色彩，拍摄一步完成，具有最佳的实时性和融合精度，是新时代的“彩色照相机”诞生！

另外，昱感微“多维像素”同样非常高效支持目前通用的3D场景重构，对应地理信息空间重建，地图与目标场景的3D测绘等应用也非常有价值。大家可以参考昱感微的微信公众号：昱感微“多维像素”多模态融合感知展示

单帧“多维像素”照片

计算机视觉先驱David Marr曾提出设想：视觉的主要功能，在于建立环境的三维模型，并且在交互中学习知识。计算机视觉，包括其他AI方向，都在朝着这个方向发展，以走向真正的实用。

上方视频是由几张“多维像素”图片对应办公室场景180°3D场景建模，每一个像素都包含了其所在的3D空间位置信息。“多维像素”数据不仅可以模拟人眼看到的场景，还可以提供比人类视觉感知更精确更多模态的感知信息（目标的精确的距离、速度、温度、材质等），为客户解决感知侧的各种难题。

上面视频是由5帧“多维像素”拼接，根据其包含的3D空间位置信息建模得出。视频中y轴0坐标为中心视角（即昱感微超级摄像头的放置点，横向和纵向的探测距离100米做为演示范围），我们可以清楚地看到街道景物以及路上的卡车等目标，并得到它们精确至厘米级的3D空间位置（例如路边的立柱的精确位置、卡车车头的精确位置）。视频模型稀疏处是由于摄像头视角和雷达射线被前方距离更近的景物遮挡（相当于人眼视线被遮挡），而且我们只用了5张多维像素图片来合成（超级摄像头可以达到每秒30帧的“多维像素”图像视频输出），如果我们基于SLAM算法让超级摄像头在不同的位置采集更多图像来做密集的3D建模，那么上面的视频3D模型稀疏性不会出现了。

在宽阔的探测距离下，昱感微超级摄像头对目标和环境的感知精确度明显高于人眼看到的景象。此外，人眼所看到的景象看似丰富，但其实只能聚焦一处，聚焦处以外的景象是逐渐虚化的，人眼无法准确感知聚焦区域以外的目标和环境。而昱感微超级摄像头所提供的“多维像素”感知信息可以覆盖视野范围内所有目标和环境，实现“多处全方位聚焦”，其中不仅有目标的3D空间位置，还包含了其速度、材质、温度等信息，突出事件感知。在容易被人眼忽视的区域（例如鬼探头、视线聚焦区外的窜出的电瓶车等），“多维像素”提包含全面精准的感知信息可使自动驾驶系统迅速处理突发状况，并且感知力不受天气光线的影响；在需要精确感知的领域（例如具身智能的感知），“多维像素”可精确到厘米级的3D空间位置感知、对目标速度、材质、温度的判断，可帮助机器人完成精细化作业。另外，昱感微超级摄像头还可应用于一些特殊场景（例如水下、矿洞、道路事故现场）的精密测绘，“多维像素”的感知数据能满足客户在感知侧的多样化需求，为客户创造更高的价值。

昱感微的“多维像素”技术是获得国际认可的技术创新，已获得中国发明专利以及美国发明专利的授权。我们期待基于这项获得国际认可的技术创新来同大家密切合作，合作共赢同时共同来保护大家的技术付出。