只有“软硬”兼施，边缘智能才能火力全开！

作者：Doctor M

随着移动计算和物联网 (IoT) 应用的爆炸性增长，数以十亿计的移动和联网设备正在连接到互联网，并在网络边缘生成海量数据。这些数据呈现出分散性、碎片化的特点，云计算虽然有强大的数据处理能力，但很难实现全面的计算覆盖，而边缘计算则可以极大地缓解云计算的压力。

根据Machina Research的预测，到2025年全球物联网连接数将猛增至270亿个。事实上，大多数物联网设备位于远离云计算的边缘侧，若在云数据中心收集这些设备产生的数据，会产生非常高的延迟，并占用大量的网络带宽。边缘智能（Edge AI）可依靠设备自身的硬件来处理与机器学习和深度学习相关的数据，此时的物联网设备不仅是一个数据收集器，更应是具有一定数据处理能力的执行器。

边缘智能中不可忽视的“软”技术

Edge AI是一个将边缘计算和人工智能（AI）结合在一起的系统，其目标是使用机器学习算法处理本地硬件设备生成的数据。Edge AI的优势不仅是数据处理速度快，出色的灵活性使得智能设备足以支持众多行业应用。此外，通过增强的安全功能，Edge AI显著提高了数据的安全性，受Edge AI驱动的设备有助于将安全风险降至最低。

在实际部署中，边缘设备是能够在设备本身执行计算任务的终端设备或边缘服务器，可能需要更多的硬件和软件来实现最佳的输出和本地存储需求。作为边缘智能的灵魂，Edge AI芯片的作用不言而喻，进入该行业的代表性企业有NVIDIA、Intel、NXP、Xilinx、ST、TI、Maxim等国际知名企业，也有寒武纪这样的国内后起之秀，他们的产品让Edge AI的应用更加接近现实世界。

然而，再强大的硬件如果没有软件的加持也会失去灵魂，无法发挥其应用的功能。以机器学习（ML）为例，如果将其添加到Edge AI软件中，可以显著增强物联网数据分析和决策的能力。根据Astute Analytica的研究，预计全球Edge AI软件市场在2021-2027年间将以29.8%的复合年增长率增长，到2027年将形成80.498亿美元的市场。

软件开发工具主要由编译器、调试器、操作系统、库等构成，包含了用于开发实时嵌入式处理器系统的大多数标准工具库，同时还可能添加了专门的应用库，以及用于软件开发的特定供应商的开发工具。在Edge AI应用中，大多数供应商使用专用的计算设备如GPU、DSP、FPGA等加速CPU，这种扩展的CPU编程模型需要定制版本的标准开发工具。他们在开发自己的优化软件工具链的同时，还可能与第三方软件工具供应商合作，以确保其产品得到广泛支持。

01 JetPack SDK：支持NVIDIA Jetson边缘计算平台

NVIDIA Jetson平台是行业领先的人工智能硬件平台之一，由英伟达（NVIDIA）公司提供，该平台包括小型高性能边缘计算机模组（Jetson模组）、可加速软件的JetPack SDK，以及包含传感器、SDK、服务和产品的生态系统。其中的Jetson模组（SOM）包括CPU、GPU、高速接口、内存、电源管理等。

灵活的模块化产品组合是NVIDIA Jetson的主要优势。无论是小企业还是大型企业，都可以在一系列Jetson模块中找到非常适合自身应用的那一款。在四大系列产品中，Jetson Nano模组属于经济高效的入门级产品；Jetson TX1模组是为外围机器学习和AI应用设计的第一代Jetson模块，主要用在制造业。

新一代的Jetson TX2模组与Jetson TX1引脚兼容但性能提高了一倍，是Jetson Nano性能的2.5倍，但功耗仅有7.5W。该系列中的Jetson TX2i在工业机器人和医疗设备等领域有着广泛的应用；Jetson Xavier NX是一款外形小巧的量产产品，支持所有热门AI框架，该模组将高达21 TOP的加速AI计算带到边缘端，能并行运行多个现代神经网络，处理来自多个高分辨率传感器的数据。Jetson AGX Xavier是专为自主机器打造的边缘计算机模组，外形紧凑、节能高效，它的性能大约是Jetson TX2i的20倍，是英伟达AI嵌入式系统中性能最高的模组。

图1：JetPack版本发展情况 (图源：NVIDIA)

对NVIDIA Jetson平台而言，除了拥有丰富的硬件模组可供选择，统一的软件开发环境和完整的生态系统是其深受行业好评的另一优势。Jetson平台中用于软件加速的JetPack SDK支持所有Jetson模组和开发者套件，是构建AI应用的全面解决方案。经过不断地演进，目前，JetPack 4.4是版本最高的正式版。

JetPack SDK包含适用于Linux操作系统的最新Linux驱动包 (L4T) 以及用于深度学习、计算机视觉、加速计算和多媒体的CUDA-X加速库与API。它还包含用于主机和开发者套件的示例、文档和开发者工具，并支持更高级别的SDK，比如用于视频分析的DeepStream SDK和用于机器人开发的Isaac SDK。JetPack SDK捆绑了所有Jetson平台软件，包括TensorRT、cuDNN、CUDA Toolkit、VisionWorks、GStreamer和OpenCV，所有这些都是在L4T和LTS Linux内核之上构建的。

此外，Jetson还与其他NVIDIA平台上所用的相同AI软件和云原生工作流相兼容，能为客户提供在边缘端构建软件定义的智能机器所需的性能和功耗。

02 eIQ：NXP机器学习软件开发环境

NXP (恩智浦) 的EdgeVerse平台是一个功能全面的边缘计算和安全平台，它通过广泛的可扩展嵌入式处理产品组合，将实现高性能和高能效计算的构建模块聚合在一起。该平台包含NXP业界领先的可扩展嵌入式处理、安全、软件以及行业解决方案，非常适合物联网、工业和汽车市场等边缘应用。具体涉及的产品有i.MX嵌入式处理产品组合和Layerscape应用处理器、K32、LPC和Kinetis微控制器、i.MX RT跨界处理器，以及车用微控制器和处理器等。

· eIQ机器学习（ML）软件开发环境支持在EdgeVerse微控制器、i.MX RT跨界MCU和i.MX系列应用处理器上使用ML算法。该软件利用开源的专有技术，可完全集成到恩智浦MCUXpresso软件开发套件和Yocto开发环境中。
· eIQ拥有一套全面的工作流程工具、推理引擎、神经网络（NN）编译器，以及经过优化的数据库，帮助简化并加快机器学习开发。最新扩展的eIQ软件开发环境，添加了全新eIQ Toolkit工作流程工具、基于GUI的eIQ门户开发环境，以及针对i.MX和i.MX RT设备进行优化的DeepViewRT推理引擎。
· eIQ Toolkit的功能是提供简单的工作流程以及机器学习应用示例。在eIQ门户中，该工具套件还有一个基于GUI的开发选项，开发人员可根据自己的喜好选择使用命令行主机工具。借助eIQ门户，能轻松创建、优化、调试、转换并导出机器学习模型，也可以从TensorFlow、ONNX和PyTorch机器学习框架中导入数据集和模型。

推理引擎是机器学习开发项目的核心，也是机器学习应用的运行组件。eIQ机器学习软件开发环境支持使用针对Glow、ONNX和TensorFlow Lite等i.MX设备和MCU进行优化的开源推理引擎进行推理。新增的DeepViewRT推理引擎是一款经过优化的运行时推理引擎，可在i.MX RT跨界MCU和i.MX 8M系列应用处理器上运行机器学习模型，具有在Arm Cortex-M/A内核、GPU和NPU上运行推理的能力，还可作为恩智浦MCU Xpresso SDK版本和Yocto BSP版本（用于基于Linux操作系统开发）的中间件。

图2：eIQ机器学习软件开发环境 (图源：NXP)

03 Vitis AI：Xilinx人工智能推断软件开发工具

Vitis统一软件平台是被Xilinx (赛灵思) 视为具有里程碑式意义的产品，这是一款从云到端、从软件到AI都提供了综合全面的库和模型的统一软件平台。其中，AI开发人员可以利用Vitis AI高层次框架训练自己的模型。在Vitis AI架构中，AI Model Zoo开放了一系列来自流行框架Pytorch、Tensorflow、Tensorflow 2和Caffe的现成深度学习模型，适用于在Xilinx硬件平台（包括边缘器件和Alveo卡）上进行人工智能推断。

Vitis AI的开发套件包括：AI优化器 (AI Optimizer) 、AI量化器 (AI Quantizer) 、AI编译器 (AI Compier) 、AI分析器 (AIProfiler) 。使用Vitis AI，能在边缘器件上为IoT、自动驾驶及ADAS、医疗成像以及视频分析等应用实现高效AI计算。

图3：Xilinx人工智能推断软件开发工具Vitis AI内部架构 (图源：Xilinx)

Vitis AI开发套件中的AI优化器采用领先的模型压缩技术，在对精度影响极小的情况下，将模型的复杂性降低5至50倍，这种深度压缩技术将AI推断性能提升到一个新的层次；AI量化器则通过将32位浮点权值和激活量转换为INT8这样的定点网络模型，在不影响预测精度的情况下，大幅降低计算的复杂度。

由于定点网络模型需要的内存带宽更少，因此比浮点网络模型的速度更快，电源效率也更高；AI编译器的主要作用是将AI模型映射至高效指令集及数据流，还可执行高级优化任务，如层融合和指令排程等，并尽量重复使用片上内存；借助Vitis AI中的AI配置器，程序员能够深入分析AI推断实现方案的效率和利用率；Vitis AI库是一组高层次库和API，通过深度学习处理器单元（DPU）进行有效的AI推断，为Xilinx平台上的AI模型部署提供了易于使用的接口。

结语

边缘人工智能应用程序能够在现场处理数据、安全传输数据，并提高边缘人工智能设备的隐私。因无需首先向云端发送数据，边缘人工智能还有效缩短了生成结果的周转时间。IoT的高度数据驱动特性进一步说明了现场数据处理对边缘人工智能应用的需求。现在，许多企业已经认识到，边缘人工智能不仅仅是一种选择，更是一个将以各种方式彻底改变行业的未来技术。IDC的分析数据显示，到2023年，在新的企业IT基础设施中，超过50%将部署在边缘，而不是企业数据中心。预计到2024年，边缘应用的数量将增加800%。

为了在空间尺寸紧张，功耗、散热和成本受限的环境中高效运行，边缘人工智能解决方案需要高集成度、高速和低功耗以及高效率的软硬件产品来支撑。优化的计算架构和芯片产品，让边缘计算获得了可靠的硬件支撑。为了建立一个高效的边缘人工智能系统，还必须有一个功能全面的软件环境来助力，现有的边缘智能芯片的潜力才能得到最大化的发挥。只有“软”“硬”两手同时抓，才能形成完整且高效的边缘智能解决方案。