嵌入式AI需要什么样的解决方案

作者：郭冰清，Xilinx软件与AI市场部门，AI产品市场经理

近年来，AI在边缘端的应用已成为不可阻挡的趋势，嵌入式AI指的就是这种在边缘端即可高效处理各种深度学习神经网络的应用加速模式。嵌入式AI能够让产品在设备层即可发挥智能化的检测、识别、分类等功能，因此成为智能产品开发或产业升级换代的热点。

然而，嵌入式AI不仅涉及软件层面的算法设计，工具设计，也涉及硬件层面的芯片设计等一系列集成问题，因此也是一个门槛和复杂度极高的领域。

郭冰清，Xilinx软件与AI市场部门，AI产品市场经理

嵌入式AI/ML的主要应用市场及趋势

ADAS 和自动驾驶、智慧城市、智慧医疗和工业视觉应用，是嵌入式 AI 应用的典型场景，也是赛灵思 一直专注的市场领域。

汽车领域

在汽车领域，赛灵思主要关注前视、后视、环视、盲区检测、自动泊车、智能座舱及、传感器融合和域控等覆盖从L2到L5级别的ADAS及自动驾驶。我们知道，汽车是一个特殊的场景，它对整个ADAS或自动驾驶系统的实时性和正确性有极高的要求，这就需要嵌入式芯片同时具备卓越的AI加速能力、灵活应变的芯片架构，还需要满足行业最高的可靠性测试标准。赛灵思在今年6月份推出的7nm VersalTM AI Edge 系列，和当前ZynqTM UltraScale+ MPSoC系列，都涵盖了汽车等级，并提供行业领先的AI算力及灵活性。

值得一提的是，为了保证车辆行驶中决策和控制的快速性及正确性，多传感器融合是一个必然的趋势。如今，汽车搭载了越来越多的传感器，如摄像头、雷达、激光雷达、毫米波雷达、超声波等，赛灵思也为这种多传感器架构带来了巨大价值。赛灵思产品一方面能够增强高级信号处理、点云预处理，另一方面，通过Vitis AI还可以实现点云机器学习加速、Image-Lidar融合算法加速、4D 雷达机器学习加速等；这些在汽车多传感器方案，甚至5G结合AI的车路协同中都扮演重要的角色。

智慧城市领域

赛灵思产品在智慧城市领域已有广泛的应用，如智慧交通、智慧零售、智慧楼宇等。赛灵思产品除了本身具备灵活的I/O，支持MIPI、LVDS和多种传感器接口、灵活的ISP支持策略、H264/H265视频编解码处理单元等能力以外，还具备强大的实时AI处理能力。

今年4月，赛灵思面向边缘计算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260视觉开发套件。同样得益于VitisTM AI所带来的AI性能加速，用户能够在这块边缘设备上实现多路、最高分辨率达4k、60帧的实时人脸检测、ID跟踪等功能；此外，Kria SoM也完全兼容赛灵思开放式AI模型库，用户可以从中选取模型任意切换或重新训练部署，总之，Kria SoM非常适合智能相机、嵌入式视觉及其它安全、零售分析、智慧城市和机器视觉应用的生产和原型开发。

医疗及工业视觉领域

医疗及工业视觉领域也是赛灵思嵌入式AI落地的重要场景。在医疗领域，我们可以提供基于深度学习的医疗影像分析或超分辨率增强，用AI为医护人员在内窥镜、超声、核磁、X光检测等场景提供更准确的判断。自2019年新冠病毒蔓延以来，赛灵思及业内合作伙伴Spline.ai利用Vitis AI，将集成了深度学习处理单元DPU的MPSoC边缘器件和AWS物联网服务结合，针对肺部感染及新冠病毒预测系统开发了可扩展的智能解决方案。

工业视觉领域

在工业视觉领域，赛灵思产品也在智慧工厂、智能工业相机、视觉控制及机器人等方面发挥重要的影响力，AI的作用主要体现在缺陷检测、文字识别、实时分析等机器学习支持的预测性维护控制、远程诊断等嵌入式端上智能化。

嵌入式AI场景落地的挑战及解决方案

在嵌入式AI产品落地的过程中，开发者遇到的挑战主要是：

●   首先，该方案是否灵活可扩展，能够适配不同产品规模或自定义模块？
●   其次，对于缺乏FPGA开发经验的用户，是否有简单易用的AI开发工具以降低开发难度？
●   第三，如何突破瓶颈，在算力有限的边缘端实现AI加速性能的最大化？

为了应对这些挑战，赛灵思在2020年初正式推出了Vitis AI解决方案，它是一套面向Xilinx Zynq SoC，Zynq MPSoC，Alveo及Versal ACAP的AI开发平台，它能够为用户带来最强大的机器学习加速性能，这主要通过方案中的神经网络加速引擎DPU、一系列自动化软件工具（定点器、编译器、优化器）和AI运行时及加速库来实现。

与传统的基于硬件RTL语言开发AI加速IP方案的最大不同在于，Vitis AI向用户提供一个通用的且可配置的神经网络加速引擎DPU，在ZU+及Versal平台上用户可以根据实际的逻辑资源选择最佳的DPU配置，最大处理效率超过80%；同时，在最新的Vitis AI方案中，用户可以通过调用Graph Runner API实现在DPU和CPU上对自定义算子的流畅部署，这也保证了开发者可以在不同大小的器件、不同模型之间灵活切换。

其次，Vitis AI可以支持主流的机器学习框架，如Pytorch，Tensorflow和Caffe；在开放模型库AI Model Zoo中涵盖了上百个经过充分优化、验证及硬件部署的模型文件，其中不乏业界最先进的3D目标检测算法、多任务学习算法、超分辨率增强算法，或时下流行的Yolo、Mobilenet、RefineDet、ResNet系列，用户可以免费下载或基于不同场景数据集的重新训练。

此外，针对嵌入式AI的部署环节，赛灵思也做了专门的软件加速优化，除了用自动化的定点器和编译器将模型转化为可部署形式外，用户还可以直接调用相应的软件加速库AI Library，无需额外开发模型的前后处理模块，从而实现在FPGA和ACAP上的快速部署。

最后，为了帮助客户实现边缘端的性能突破，赛灵思在基于Vitis软件开发环境中，集成了大量经过底层优化的加速库，通过C++、OpenCL library的方式提供给用户，所以除了DPU对AI部分的加速以外，我们对端到端的前处理、后处理的全流程都可以加速，这样即可实现边缘端上的最大化性能。

赛灵思是深耕嵌入式领域数十年的可编程逻辑器件主要供应商，公司 转型后成为基于FPGA 器件的自适应计算平台供应商。几年前通过新一代自适应计算架构 ACAP 的推出，以及人工智能科技公司深鉴科技的收购，在嵌入式AI  领域日益扮演重要角色。尤其是随着Vitis AI 的 推出，让高性能、灵活应变的赛灵思自适应计算平台，从来没有像今天这样与开发者和科学家们如此开始友好，不需要硬件设计知识，也不需要耗费精力在硬件平台，就能快速将自己的嵌入式创意变成现实。我们希望携手越来越多的开发者，将各种各样的创新产品推向市场。