机器视觉中彩色成像必须考虑的十个问题

在为你的产品开发最适合的机器视觉系统时，需要考虑很多因素，以下列出开发过程中需要考虑的一些问题：

颜色准确性/差异化

首先要考虑的是应用程序所需的颜色精度和差异程度。在某些应用中，机器视觉相机必须区分检测到的颜色和目标值之间的距离。在这一领域，高精度机器视觉用户需要比能够接受较低精度和差异化水平的用户更先进的相机。

如前所述，插值和低灵敏度是提高颜色精度和差异化水平的两个主要障碍。插值可能导致颜色检测的细微差异，因为它需要周围像素的平均值来确定每个像素的颜色值。因此，当机器视觉系统试图区分细微的颜色差异时，您可能不知道颜色的阴影实际上是不同的，或者它们只是拜耳插值中的变化。
 
色彩串扰

高度的色彩串扰会影响机器视觉相机产生的颜色的精度。高阶串扰是由拜耳滤波器或二向色棱镜涂层定义的红、蓝、绿通道的光谱响应之间相当大的重叠造成的。当通道之间有大量重叠时，某些颜色系列，尤其是黄或蓝绿色系列，会有很大的不确定性。

▲棱镜相机中使用的二向色涂层比拜耳滤光片产生更陡的光谱曲线，以最大限度地减少由色彩串扰引起的不确定性。

当您的机器视觉系统需要区分这些颜色的不同色调时，这可能是非常有问题的。因此，在开发彩色机器视觉系统时，必须考虑哪些颜色系列对您的分析至关重要，以及机器视觉系统中可接受的颜色串扰水平。
 
光照水平和灵敏度

根据您的应用，您的机器视觉系统需要特定级别的感光度。拜耳、三线和棱镜相机以不同的方式传输光，所以光的灵敏度是不同的。

例如，拜耳滤波器不仅由比光学棱镜中使用的高级玻璃具有更低透射率的材料制成，而且镶嵌方法也使得每个像素仅对三分之一的波长敏感。它落在上面了。根据给定像素的确切颜色，这可能会导致超过一半的光照在滤光片上，并且无法到达传感器。

根据系统的亮度级别和可容忍的增益 / 噪声级别，您可以根据应用程序选择最合适的相机。

▲在拜耳相机中，每个像素上的滤波器阻挡了三分之二的光谱波长，大大减少了从场景中捕获的实际光量。通过三个独立的传感器，棱镜相机捕获与每个像素相关的 100％的光。

白平衡和噪音

每一个使用颜色的机器视觉应用程序都需要白平衡。如果没有根据系统使用的照明光谱调整清晰的基线，则无法准确捕获真实的颜色值。根据所选机器视觉相机的类型，可以使用不同的白平衡方法。

例如，拜耳和三线相机只能通过在三个颜色通道中的两个通道上添加增益（放大）来平衡白色，以匹配响应最高的通道。然而，增加增益不仅会使信号倍增，还会使图像中的噪声倍增。然后，由于整体低光条件所需的任何额外增益将添加到基线。如果需要超低噪声，则可能需要通过增加可用光的数量或切换到不同的相机类型来解决此问题。

相比之下，棱镜相机可以独立控制每个传感器，包括快门速度和增益。因此，您可以选择使用快门速度进行白平衡 - 通过延长两个通道的曝光时间来减少响应，或者缩短响应时间最长的两个通道的曝光时间。如果暴露时间较长，噪声可能会略微增加，但增加的幅度比增益小得多。在某些应用中，降噪可能是使用棱镜相机技术的几个原因之一。

▲彩色摄像机必须是白平衡的，以避免因照明类型和色温而变色。典型的基于增益的白平衡会增加图像噪声。棱镜相机中可用的基于曝光的方法对图像噪声的影响要小得多。

颜色伪像

颜色伪像是图像缺陷 - 通常是错误着色的像素或图案 - 由图像的颜色信息的导出方式引起。使用估计或插值来计算颜色的相机最有可能表现出颜色伪影。
 
然而，即使是产生独立的 R，G 和 B 值（非插值）的三线性相机，也会由于梯形失真效应，不平整表面或轻微的时序变化引起的空间偏移而产生颜色伪影。由于棱镜相机具有三个独立的传感器并使用单个光学平面来捕获图像，因此使用棱镜相机产生颜色伪影的风险非常低。

最常见的颜色工件类型是：

颜色混叠

颜色混叠是指当具有特定颜色的对象的线条或边缘（例如，深蓝色对角线）显示不同的颜色时的情况，例如当在像素级别检查图像时沿其边缘的红色或黄色像素。
 
这个问题在拜耳相机中最常见，因为用于为每个像素分配 RGB 值的插值技术使用周围像素的混合，这些像素可能具有与线或边缘本身完全不同的颜色。

▲当插值沿着线和边缘产生错误着色的像素时，会发生颜色混叠。

莫尔图案

除了在捕获单个边缘或线时引起问题时，当图像包含精细重复图案时，大规模混叠可导致莫尔图案的出现。虽然任何需要捕获更高空间频率的相机都会出现这种效果，但拜耳相机 - 再次因为插值技术 - 更容易出现这种情况。

▲具有重复颜色混叠的区域中的人造颜色图案可以出现在拜耳图像中。

对分辨率的影响

与单色系统相比，在确定彩色机器视觉系统所需的分辨率水平时需要特别小心。这是因为拜耳插值等色彩技术大大降低了相机的有效分辨率。虽然拜耳相机可能有 500 万像素（5 百万像素），但插值过程会“平均”许多小细节，使有效分辨率达到整个像素数的三分之一左右。

根据应用程序必须能够检测 / 分析的最小特征大小以及必须涵盖的视野大小，有两种可能的操作过程：
① 您可以选择分辨率远高于类似单色系统的拜耳相机。当然，这通常带有更高的价格标签，更昂贵的光学器件以及主机上更高的处理负荷。

② 您可以选择具有与在单色系统上使用的基本分辨率大致相同的棱镜相机。一个 320 万像素的棱镜相机实际上是一个 3×320 万像素的摄像头，带有三个独立的图像传感器，总计 9.6 百万像素。因此，它可以产生 24 位，320 万像素的输出，而不会像拜耳相机那样损失分辨率。如上所述，棱镜相机比拜耳相机贵。但与使用 900 万像素拜耳相机的所有相关成本相比，整体比较变得更加接近。
 
以上信息仅适用于区域扫描分辨率。在线扫描系统的情况下，三线性和棱镜相机都不依赖于插值，因此这两种技术的有效分辨率都没有显着降低。但是，线扫描相机章节中讨论的一些问题可能会影响三线性相机区分小细节以及棱镜相机的单个光学平面的能力。
 
色彩空间和色彩空间转换

在开发机器视觉系统时，您需要确定哪种颜色空间最适合您的特定应用。确切的颜色空间取决于应用程序的用途以及如何分析颜色信息。
 
例如，简单地在屏幕上显示对象的应用程序自然会使用标准 RGB 颜色空间，因为这是所有监视器构造其像素颜色的方式。但是，如果您正在处理印刷材料，像 Adobe RGB 这样的色彩空间可能是更好的选择，因为它提供了更广泛的颜色选择，适合数字印刷。

其他颜色空间如 HSI（色调，饱和度，强度）和 CIE XYZ 或 CIE L * a * b *颜色空间使用数学坐标来描述颜色，以便某些应用程序更容易计算颜色匹配和颜色差异在程度和方向上。

在大多数应用程序中，您将使用主机上的算法和处理资源将来自摄像机的 RGB 数据转换为最适合您应用的色彩空间。但是，在某些情况下，您可能希望相机在主机处理资源专注于其他任务时执行此转换。对于这些情况，值得选择具有内置色彩空间转换功能的相机。
 
色彩增强和色彩优化

在某些情况下，您可能会发现有意改变颜色的准确性很有价值。如果是这样，在开发机器视觉系统时，值得考虑色彩增强和优化功能。
 
例如，如果要检测图像中的特定偏差或将两个对象彼此区分开来，有时可以帮助增强图像中的特定颜色。例如，当图像中的红色增强时，可以更容易地区分血细胞和组织。

使用主机上的算法捕获图像后，可以增强图像中的颜色。然而，后处理增强可能受到原始图像的饱和度或对比度的限制。有些相机配备了色彩优化功能，允许用户增强特定的主色或互补色，其真实价值高达 200％（2 倍）。系统构建者应该考虑这样的功能是否可以为其应用程序增加价值，或者有助于将其与竞争系统区分开来。

▲颜色增强功能可以强调图像中的特定颜色。