优化支持视频的无人机设计

作者：DENNIS BARRETT

据估计，未来十年，全球将有近980亿美元用于空中无人机和其他无人驾驶飞机。虽然无人机技术的商业应用预计将推动超过1270亿美元的全球市场，但消费无人机正在从这些投资中获益。为了更好地了解无人机的安全操作，让我们深入了解实现安全飞行的关键要求：低延迟视频传输。

要在用户视线之外操作，任何无人机都需要配备具有实时传输功能的机载摄像头。在为工作选择合适的系统时，重要的是要记住以下因素：

低功耗：低功耗可延长飞行时间
低延迟：更低的延迟可实现更快的反应
无线链路稳健性：坚固的连接可提高准确性和响应能力
范围：更长的范围延长了操作距离
自主性：额外的传感器可实现更安全的飞行

在这些考虑因素中，低延迟视频压缩和传输至关重要。以下方法概述了开发人员可以减少无人机视频压缩和传输系统延迟的几种方法：

视频捕获：更高的帧速率意味着更短的捕获时间 （Tcap）。例如，30 fps 摄像机需要 33 毫秒才能捕获每一帧视频。对于 60-fps 视频捕获，此数字减少到 16.5 毫秒。

压缩或编码：压缩技术用于降低传输视频帧所需的数据速率。H.264压缩标准是在无人机中录制和压缩视频的一种非常常见的技术。压缩通常是一项计算密集型任务。编码所需的时间（Tenc） 取决于所使用的编码引擎和功能的选择。

传输：无人机使用Wi-Fi连接等无线通信机制与地面站通信。由此产生的传输延迟 （Ttx）取决于可用的数据带宽。例如，如果 720p30 流以 1 Mbps 编码，可用带宽为 2 Mbps，则向地面站发送流所需的时间为 16.5 毫秒。

网络：根据需要，空中系统可以通过网络连接到远程地面站。如果是这种情况，网络内可能会导致额外的延迟 （Tnw）。

接收：如果地面站也无线连接到网络，则系统中涉及类似于传输的额外延迟（Trx）。

解压或解码：压缩的视频流需要在接收站解压。与编码一样，此解码过程也是计算密集型的，会给系统引入解码延迟 （Tdec）。

显示：就像视频捕获一样，根据刷新率，会有显示延迟（Tdisp）。

还需要注意的一点是，直接与地面站通信的无人机不需要依赖网络，只会导致单个传输延迟（Ttx）（即Tnw = 0和Trc= 0）。

为了更好地说明逐帧操作期间从捕获到显示的总延迟，图 1 详细介绍了此过程的时间线。

图1：视频捕获和显示时间线。

总延迟的具体示例可在表 1 中找到。

表1：中心

表 1 中概述了用于控制无人机操作的高延迟方案。在这里，操作员需要 118.7 毫秒才能看到收集的视频。如果无人机以每秒 15 米的速度行驶，当远程操作员看到需要更改航班时，它将移动 1.8 米;在此期间，无人机可能会坠毁。

为了帮助减少这种可能性，H.264标准引入了切片的概念。切片由多个宏块（视频帧的二维单元）组成，这些宏块是独立编码的。使用此方法可以单独解码每个切片，而无需引用另一个切片。但是，虽然低延迟编码在如何排列这些切片方面提供了灵活性，但使用自然行顺序是最有效的。

当帧中的切片数大于 1 时，开发人员不仅能够减少编码时间，还能够减少整体延迟。在这种情况下，系统只需等待捕获一帧即可开始编码，从而自动触发其传输。其影响是捕获、编码、传输、接收、解码和显示过程不再是串行的，而是并行的，理论上每一步的延迟都会减少 N 倍。这使得整体延迟：T = Tcap + （Tenc + Ttx + Tnw + trx + Tdec + Tdisp）/N（图 2）。

图2：基于切片对处理时间线的影响。

理论上，编码和显示过程之间的有效时间将减少N倍。但是，实际上，时间可能并不总是与切片数成线性关系，这是由设置和处理单个切片所需的开销引起的。表 2 显示了基于切片的编码的延迟示例，基于每帧 30 个切片的速率。

表 2：基于切片的延迟示例。

如本例所示，即使实现了有效的编码/解码时间，延迟仍占用基于帧的编码的一半时间（每帧一个切片）。通过使用此过程，远程无人机飞行员的反应速度至少提高了三倍。

需要考虑的一个权衡：虽然更多的切片将加快编码和传输过程，但它也会降低压缩率。此方法增加了用于切片的位数以及有效传输时间。设计人员必须优化端到端系统;最终，将由他们相应地调整此参数。

数字媒体处理器利用集成的硬件引擎以及专为视频的低延迟编码和解码而设计的帧到内存 ISP，每帧使用多个切片。图 3 显示了低延迟视频编码 Wi-Fi 系统中无人机的数字媒体处理器。

图3：TMS320DM368 数字媒体处理器采用低延迟视频编码 Wi-Fi 系统，用于无人机。

Wi-Fi 和蓝牙组合连接设备配备了无人机所需的高级功能，例如天线分集、最大比率组合、双频支持（2.4 和 5 GHz 频段）、速率管理和优化的数据路径。

如果需要对航空系统进行机载监控，可以使用UART接口与无人机的中央控制单元交换控制数据，从而实现自主避免碰撞。

对于工程师来说，无人机是一个令人兴奋的技术平台，这些平台受到大多数设计变量（如尺寸、重量、功耗和成本［SWaP-C））的限制。受控飞行 - 自莱特兄弟时代以来从未改变的挑战 - 需要低延迟视频处理，无论是通过无线连接为操作员交付还是最终完全自主操作。通过对全视频帧进行基于切片的处理并流式传输多个通道的压缩视频，设计人员将能够为无人机飞行提供灵活、超低延迟的视频传输。