飞行时间系统设计—第1部分：系统概述

作者:Paul O’Sullivan 和 Nicolas Le Dortz 

摘要

这是飞行时间(ToF)系列中的第一篇文章，概述了连续波(CW) CMOS ToF相机系统技术，以及该技术在机器视觉应用中相对于传统3D成像解决方案的优势。后续文章将详细阐述本文中介绍的一些系统级组件，包括照明子系统、光学、电源管理和深度处理。

简介

现在，许多机器视觉应用需要高分辨率的3D深度图像来替代或增强标准的2D图成像。这类解决方案依靠3D相机来提供可靠的深度信息以保证安全性，尤其是当机器在极其贴近人附近工作的时候。在具有挑战性的环境中工作时，例如在具有高反射性表面的大空间中和有其他移动物体的环境中工作时，相机还需要提供可靠的深度信息。目前的许多产品使用低分辨率测距仪类型解决方案来提供深度信息，以增强2D成像。但是，这种方法有很多限制。对于可从更高分辨率3D深度信息获益的应用，CW CMOS ToF相机提供了市场上最高性能的解决方案。表1更详细地说明了由高分辨率CW ToF传感器技术实现的一些系统特性。这些系统特性还能运用于消费者使用场景，如视频背景虚化、面部身份验证和测量应用，以及汽车使用场景，如驾驶员状态监控和自动化舱内配置。

连续波CMOS飞行时间相机概述

深度相机是指每个像素都会输出相机与场景之间距离的相机。一种测量深度的技术是计算光从相机光源行进到反射表面再返回相机所需的时间。此行程时间通常被称为飞行时间(ToF)。

图1.连续波飞行时间传感器技术概要

ToF相机由多个元件组成（参见图1），包括：

• 光源，例如垂直腔面发射激光器(VCSEL)或边缘发射激光二极管，其发射近红外域的光。最常用的波长为850 nm和940 nm。光源通常是漫射源（泛光照明），其发出具有一定散度的光束（即照明区或FOI），以照射相机前方的场景。

• 激光驱动器，其调制光源发射的光的强度。

• 具有像素阵列的传感器，其从场景中收集返回光线并输出每个像素的值。

• 镜头，其将返回光线聚焦到传感器阵列上。

• 带通滤波器，其与镜头共置，用于滤除以光源波长为中心的窄带宽之外的光线。

• 处理算法，其将传感器输出的原始帧转换为深度图像或点云。

人们可以使用多种方法来调制ToF相机中的光线。一种简单办法是使用连续波调制，例如50％占空比的方波调制。在实践中，激光波形很少是完美的方波，看起来可能更靠近正弦波。对于给定光功率，方形激光波形可产生更好的信噪比，但高频谐波的存在也会导致深度非线性误差。

CW ToF相机通过估算发射信号与返回信号的基波之间的相移 ϕ = 2πft_d 来测量这两个信号之间的时间差t_d。深度可以利用相移 (ϕ) 和光速(c)来估算，公式如下

 

其中f_mod为调制频率。

传感器中的时钟产生电路控制互补像素时钟，而互补像素时钟分别控制两个电荷储存元件（Tap A和Tap B）中的光电荷的累积，以及激光驱动器的激光调制信号。返回调制光的相位可以相对于像素时钟的相位来测量（参见图1右侧）。像素中的Tap A和Tap B之间的差分电荷与返回调制光的强度和返回调制光相对于像素时钟的相位成比例。

利用零中频检测原理，使用像素时钟和激光调制信号之间的多个相对相位进行测量。组合这些测量结果即可确定返回调制光信号中的基波相位。知道该相位即可计算光从光源行进到被观察的物体再返回到传感器像素所花的时间

高调制频率的优点

在实践中，光子散粒噪声、读出电路噪声、多路径干扰等非理想因素会导致相位测量误差。高调制频率可降低这些误差对深度估算的影响。

通过一个简单例子就能轻松理解这一点。假设相位误差为 ϵ_ϕ，那么传感器测得的相位为。深度误差即为：

 

因此，深度误差与调制频率f_mod成反比。图2以图形方式显示了这一点。

这个简单公式在很大程度上解释了为什么高调制频率的ToF相机与低调制频率的ToF相机相比深度噪声更低且深度误差更小。

图2.相位误差对距离估计的影响

使用高调制频率的一个缺点是相位环绕速度更快，这意味着可以准确测量的距离更短。解决此限制的常见办法是使用多个以不同速率环绕的调制频率。最低调制频率支持准确测量较长距离，但深度误差（噪声、多路径干扰等）也较大，串联使用较高调制频率可降低深度误差。图3显示了一个使用三种不同调制频率的示例方案。最终深度通过不同调制频率的展开相位估计值加权来估算，为较高调制频率分配较大的权重。

图3.多频相位展开

如果为每个频率的权重选择最优值，则深度噪声与系统中选择的调制频率的均方根(rms)成反比。对于恒定深度噪声预算，提高调制频率可以减少积分时间或照明功率。

对性能至关重要的其他系统方面

开发高性能ToF相机时，有许多系统特征需要考虑，这里简要介绍其中的一些特性。

图像传感器

图像传感器是ToF相机的关键组件。当系统的平均调制频率提高时，大多数与深度估计相关的非理想因素（如偏置、深度噪声和多路径伪像）的影响会减小。因此，传感器在高调制频率（数百MHz）时须具有高解调对比度（区分Tap A和Tap B之间光电子的能力）。传感器在近红外波长（如850 nm和940 nm）还需要具有高量子效率(QE)，从而降低在像素中产生光电子所需的光功率。最后，低读数噪声支持检测较低返回信号（远处或低反射率物体），从而有助于提高相机的动态范围。

光照度

激光驱动器以高调制频率调制光源（例如VCSEL）。对于给定光功率，为使像素处的有用信号量最大化，光学波形需要具有快速上升和下降时间及干净的边沿。照明子系统中激光、激光驱动器和PCB布局的组合对于实现这一点至关重要。还需要进行一些标定工作以找到最佳光功率和占空比设置，从而使调制波形的傅立叶变换中的基波幅度最大化。最后，光功率还需要以安全方式传输，激光驱动器和系统层面应内置一些安全机制以确保始终符合第1类眼部安全限值。

光学元件

光学元件在ToF相机中发挥着关键作用。ToF相机有一些独特的特性，因此其在光学方面有一些特殊要求。首先，光源的照明区域应与镜头的视场角匹配以获得最佳效率。镜头本身应具有高孔径（低f/#），以获得更好的光收集效率，这一点也很重要。大孔径可能导致需要权衡其他因素，如暗角、浅景深和镜头设计复杂度等。低主射线角的镜头设计也有助于减少带通滤波器带宽，从而改善环境光抑制，提高户外性能。光学子系统还应针对所需工作波长进行优化（如防反射涂层、带通滤波器设计、镜头设计），以使吞吐效率最大而杂散光最小。还有许多机械要求，以确保光学对准在最终应用的期望容差范围内。

电源管理

电源管理在高性能3D ToF相机模块设计中同样至关重要。激光调制和像素调制产生短的高峰值电流突发脉冲，这给电源管理解决方案带来了一些约束。传感器集成电路(IC)的一些特性可以帮助降低成像器的峰值功耗。在系统层面还可以应用电源管理技术来帮助降低对电源的要求（例如电池或USB）。ToF成像器的主要模拟电源通常需要一个具有良好瞬态响应和低噪声的稳压器。

图4.光学系统架构

深度处理算法

最后，系统级设计的另一重大部分是深度处理算法。ToF图像传感器输出原始像素数据，需要从这些数据中提取相位信息。该操作需要多个步骤，包括噪声滤波和相位展开。相位展开模块的输出是激光器发出的光行进到场景再返回到像素的距离测量结果，常被称为范围或径向距离。

径向距离一般被转换为点云信息，代表特定像素的实际坐标（X、Y、Z）信息。通常，最终应用仅使用Z图像映射（景深映射），而不是全部点云。将径向距离转换为点云需要了解镜头内在特性和失真参数。这些参数是在相机模块的几何校准期间估算。深度处理算法还能输出其他信息，例如有源亮度图像（返回激光信号的幅度）、无源2D IR图像和置信度，这些信息都可以在最终应用中使用。深度处理可以在相机模块本身中进行，或系统中其他地方的主机处理器中进行。

本文涉及的不同系统级组件概览如表2所示。这些议题将在未来的文章中详细讨论。

结论

连续波飞行时间相机是一种强大的解决方案，可为需要高质量3D信息的应用提供高深度精度。为确保实现最佳性能水平，有许多因素需要考虑。调制频率、解调对比度、量子效率和读数噪声等因素决定了图像传感器的性能。其他因素是系统级考虑因素，包括照明子系统、光学设计、电源管理和深度处理算法。所有这些系统级组件对于实现最高精度3D ToF相机系统至关重要。后续文章会更详细地讨论这些系统级议题。

作者



Paul O’Sullivan

Paul O’Sullivan是位于爱尔兰利默里克的ADI 线性与精密技术业务部门的一位应用工程师。他现在负责为开关/多路复用器产品系列提供支持，之前他负责为ADI的电源管理产品系列提供支持。他于2004 年加入ADI公司，拥有科克大学的电气与电子工程学士学位和利默里克大学的工程硕士学位。



Nicolas Le Dortz

Nicolas Le Dortz是ADI公司飞行时间(ToF)技术组的系统工程经理。他主管ADI ToF技术的发展，并充当ToF相机系统交付和为ADI客户提供出色性能所涉及的跨职能团队的联系桥梁。他于2010年获得法国综合理工大学电气工程硕士学位，2012年获得瑞典皇家理工学院微电子硕士学位，2015年获得法国高等电力学院电气工程博士学位。2013至2014年期间，他是加州大学伯克利分校的访问研究员。他热衷于与客户合作，通过汇集计算机视觉、信号处理、集成电路设计、软件开发和光学设计等学科来创新景深测量技术。