机器视觉：从1D到3D，如何提升它的“视力”？

机器视觉
 
从科学上讲，人眼可以感知390到770nm的电磁波长范围。机器视觉是将图像转换成数字信号进行分析处理的技术，并让机器拥有了人眼无法企及的视觉功能，非常适用于那些不适合人工作的危险任务或是人眼难以满足要求的场合。
 
什么是机器视觉？
 
理解机器视觉系统最简单的方法之一是把它看作机器的眼睛。从专业角度看，机器视觉是一种通过图像处理实现自动检测和分析应用的技术。可以说，机器视觉是一种技术能力，它以新的方式与现有技术集成，并将其应用于解决现实问题。
 
机器视觉是一门系统工程学科，有时也会被人拿来与计算机视觉进行比较。其实，计算机视觉和机器视觉是相互重叠的技术。机器视觉系统需要计算机和特定的软硬件才能工作，而计算机视觉不需要借助有形的硬件来完成，比如连接到机器人上的视觉箱或摄像机等，这是二者最显著的区别。机器视觉可以看作是计算机视觉的一个子类，计算机视觉是其大脑，没有计算机视觉，机器视觉就无法工作。
 
具体来看，计算机视觉可以在线分析图像或视频，以及来自运动探测器、红外传感器或其他来源的图像。随着边缘AI的发展，计算机视觉开始从云端移到边缘，更加靠近收集数据的传感器。
 
机器视觉系统始于20世纪50年代。从1980年到1990年，这项技术才真正开始起步并日益普及。值得注意的是，随着计算机视觉技术的发展，机器视觉潜在应用的可能性也相应增加，并从主要的应用领域——工业自动化环境——向着安全、自动驾驶车辆、食品生产、包装和物流，甚至包括机器人和无人机等行业扩展。现在，机器视觉系统可以检查和分类各个行业的各种物体和物品，包括汽车、电子和半导体、食品和饮料、道路和车辆交通或智能运输系统（ITS）、医疗成像、包装、标签和印刷、制药等。

图1：机器视觉市场增长情况（图源：MarketsandMarkets）

Markets and Markets报告称，机器视觉的市场规模预计将从2020年的107亿美元增长到2025年的147亿美元，复合年增长率为6.5%。对质量检测和自动化的需求不断增长、非传统和新兴应用对机器视觉系统需求的不断增长，以及对视觉引导机器人需求的不断增长，这些都是推动机器视觉市场增长的关键因素。
 
哪些行业从中受益？
 
机器视觉应用的优势主要体现在五个方面：
一是在检验、测量、计量和装配验证方面具有更高性能和质量。
二是能提高重复性任务的生产率，还能有效减少机器停机时间并缩短安装时间。
三是在测量和计量上有较大的灵活性，还可保证更严格的过程控制。
四是能降低生产成本，及早发现缺陷，降低废品率。
五是占地面积小，降低了生产成本。
 
当前，工业领域中的机器视觉应用比重很大，同时这一领域也从中收益颇多。通过与深度学习和机器学习等技术的深度结合，机器视觉能帮助使用该技术的企业更好地理解数据，并优化业务以获得更高的效率，例如宝马就将该技术与人工智能和机器学习结合使用以提高效率。随着各类技术的不断完善，机器视觉应用领域也不断拓宽，应用范围包括对象辨识、产品检测、外观尺寸、甚至3D建模存货清点。在实际中，机器视觉系统还能够以定制的方式设计和实现到系统中，来满足更多应用需求。
 
根据最终用途划分，机器视觉市场分为汽车、医药和化学品、电子和半导体、纸浆和纸张、印刷和标签、食品和饮料（包装和装瓶）、玻璃和金属、邮政和物流等。目前，汽车行业是重要的机器视觉系统采用者。2020年，汽车行业的占比达到19.38%，预计从2021年到2028年将有可观的增长。在汽车工业中，机器视觉被广泛用于检查目的，包括有无检查、防错、装配验证和最终检查。此外，机器视觉系统用于尺寸测量、机器人引导和测试自动化，属于测量和引导应用。因此，整个汽车行业对机械化成像的需求很大，预计未来几年将继续稳步增长。
 
机器视觉的“眼睛”
 
所有机器视觉方法都受到人类视觉系统的启发，从二维图像中提取概念信息——它们有基于2D图像的捕获系统和模拟人类视觉感知的计算机视觉算法。人类通过3D感知周围的世界。在机器视觉系统的三个分类中，1D视觉系统不是一次查看整张图片，而是一次分析一行信号。它们通常检测并分类连续过程中制造的产品的缺陷，如金属、塑料、纸张、无纺布薄板或卷制品。
 
在标准照明条件下，机器视觉系统通常使用常规2D成像。有时物体需要特定照明来记录缺陷——例如，机器视觉系统可以使用多光谱成像、高光谱成像、红外波段、线扫描成像、3D成像和X射线成像。与更复杂的照明相比，通常的2D可见光照明图像是单色的，而更复杂的照明考虑了颜色、帧速率、分辨率等因素，以及成像过程是否在整个图像上同步，从而使其适用于需要技术跟踪特定移动项目的系统。
 
目前，尚没有典型的机器视觉系统可以作为其他设计的参考，因为机器视觉是一种能力，而不是一种产品或特定类型的设计。在实际应用中，它们是将不同的组件集成在一起来实现。机器视觉系统的主要组成部分包括照明系统、镜头、图像传感器、视觉处理和通信系统。灯光照亮要检查的零件，使其特征突出，以便摄像头可以看到它们。镜头捕捉图像，以光的形式呈现给传感器。传感器将该光线转换为数字图像，发送至视频处理器进行分析。视觉处理包括检查图像和提取必要检查和决策所需信息的算法。
 
如果说机器视觉让机器增加了一双眼睛，按字面和实际意义来理解，图像传感器就是机器视觉系统的那个“视”，相当于系统的“眼睛”，它的优劣直接关系到整个系统的“视力”能达到何种水平。随着机器视觉的应用日益广泛，图像传感器也迎来了发展的良机。根据安森美公司提供的数据，2018年至2022年期间，机器视觉传感器市场将以14% CAGR的速度增长。

图2：机器视觉传感器的市场规模，单位：百万美元（图源：广发证券）

CMOS图像传感器是机器视觉中应用最普遍的一种传感器。与CCD传感器一样，它可以是单色的，也可以是彩色的。安森美MT9P031I12STC-DR1是用于高分辨率机器视觉应用的彩色CMOS传感器，它属于CMOS数字图像传感器MT9P031家族。该产品系列具有2592 H x 1944 V的有源成像像素阵列，为可编程的、高集成度产品，具有低功耗特性，既有CCD的图像质量，同时还保持了CMOS图像传感器在尺寸和成本上的优势。MT9P031传感器既能在默认模式下工作，也可以由用户针对帧大小、曝光、增益设置和其他参数进行编程。默认模式是以每秒14帧（fps）的速度输出全分辨率图像。

图3 ：MT9P031传感器方框图（图源：贸泽官网）

当然，一些机器视觉应用也有特定的分辨率需求。与传统的由显示标准（16:9或4:3）驱动的RGB观看应用程序不同，许多机器人和机器视觉方案可通过使用不同的分辨率进行优化。如安森美的200万像素AR0234在X方向给出了更优的条形码方案的额外像素。在XGS系列图像传感器中，800万像素、900万像素、1200万像素产品分别提供了2:1、1:1、4:3的图像比例，XGS的3000万像素、32000万像素产品分别提供了1:1和4:3的图像比例——1:1可用在半导体检测，而4:3可用在屏检。
 
3D机器视觉解决方案
 
3D机器视觉的图像检测更接近于人类的眼睛。借助数字化3D扫描数据，可以提取一个物体的尺寸，包括表面积、体积和形体尺寸。3D视觉传感技术是一种深度传感技术，它增强了摄像机进行面部和目标识别的能力。目前市场上主流的3D光学视觉方案有三种，即：双目立体视觉法（Stereo Vision）、结构光法（Structured Light）以及飞行时间法（Time of Flight, ToF）。在这些方法中，结构光技术最成熟，已经在工业3D机器视觉中大规模应用。在结构光方法中，一系列图形被投射到一个物体上，然后摄像头或传感器检测这些图形的扭曲与变形。接下来，图像处理和三角剖分算法将这些扭曲与变形转换为3D点云数据，这些点云数据可直接用来进行分析或导出为多种CAD建模格式。比如，Texas Instruments (TI)  DLP系统可以实时产生非接触、高精度的3D数据，使3D机器视觉更加容易实现。在这个方案中，DLP芯片组可提供不同的DMD（数字微镜器件）尺寸、像素间距、分辨率以及波长范围。

表1：针对3D机器视觉的DLP芯片组（图源：TI官网）

随着技术的发展，采用飞行时间技术重建3D信息已成为机器视觉最重要的方法。飞行时间技术使用激光扫描仪根据光线到达目标并返回所需的时间来估计光源和目标之间的距离。Analog Devices (ADI) 的ADSD3100是一款基于CMOS 3D飞行时间的3D深度和2D可视光成像器，可集成到3D传感器系统中。其所需的功能模块包括模数转换器（ADC）、像素偏置电路和传感器控制逻辑，这些都内置在芯片中以便在系统中实现简单、经济高效的方案。ADSD3100通过MIPI、摄像头串行接口2（CSI-2）接口与主机系统进行电气接口。

图4：CMOS 3D ToF传感器ADSD3100框图（图源：ADI官网） 

结语 
 
与自动化、机器学习、深度学习和神经网络等其他能力一样，机器视觉也是一种能力，而不是一个行业。它是一种可以集成到其他技术和流程中的能力，可以使行业受益并提高业务效率。边缘智能或边缘人工智能是机器视觉技术发展的下一个大趋势，它们将机器学习从云端移到物理设备的边缘。这一切与机器视觉的未来密切相关，边缘计算的进步使得在传统机器视觉任务中应用深度学习能力成为可能。
 
从研究机构的预测中可以看出，机器视觉市场正在快速增长，企业越来越希望通过引入机器视觉和机器人等自动化功能来实现业务流程的自动化，这个趋势不会很快放缓。