嵌入式物联网的人工智能

作者：Brandon Lewis 

物联网 （IoT） 被吹捧为下一次工业革命，它具有普遍的连接性和它可以产生的洞察力，为查看和管理物理世界提供了一个新的数字镜头。但除了物联网预期的切实流程效率和生活质量改善之外，它也是人类历史上最伟大成就的垫脚石：人工智能（AI）。

在许多方面，人工智能和物联网的技术进步是交织在一起的。物联网将提供推动我们数据驱动型经济的信息，而人工智能则是消耗它的引擎。尽管这两种范式仍处于起步阶段，但每个范式的成功都取决于另一个：如果没有自动处理大型异构数据集的机制，物联网永远无法发挥其潜力，就像人工智能在没有大量数据的情况下无法扩展一样。

然而，与许多其他支持物联网的技术一样，人工智能研究和开发在很大程度上仅限于 IT 领域，因为卷积神经网络 （CNN）、隐马尔可夫模型（HMM）、自然语言处理和其他学科的复杂性在机器学习算法和深度神经网络 （DNN）的创建需要通常只能在数据中心规模上访问的存储和计算资源。同样，编程方法已针对 IT 开发人员进行了调整， R、Python、SQL、Excel、RapidMiner、Hadoop、Spark 和 Tableau 等工具是AI 领域的数据分析师和计算机科学家最广泛使用的工具（图 1 ）。

图1 2016 年对数据分析师和科学家的民意调查显示，R、Python 和 SQL
作为机器学习的软件工具和库继续受到关注。图表由 KDnuggets 提供。

物理/数字交换中人工智能和数据收集之间的差距是物联网的常见并发症，物联网刚刚开始推动 IT 和运营技术 （OT） 的集成。尽管如此，这是一个必须弥合的鸿沟。

嵌入式物联网的人工智能

2014 年，随着NVIDIA Jetson TK1 平台的发布，AI 最早涉足 OT 领域之一。基于Tegra K1 片上系统 （SoC）及其 192 核 Kepler GPU 和四核 ARM Cortex-A15， Jetson TK1 为计算机视觉、机器人和汽车应用带来了数据中心级的计算性能，同时也为嵌入式工程师提供了CUDA 深度神经网络 （cuDNN） 库的开发平台。cuDNN 原语支持 DNN 训练和推理所需的激活函数、前向和后向卷积、归一化和张量变换等操作，并且该技术与 Jetson TK1 的 10 W 功率包络相结合意味着深度学习框架，如Caffe和Torch可以在较小的 OT 设备上访问和执行。

今天，这一基础工作得到了扩展，作为 Jetson TK1 的继任者，Jetson TX1 模块系统 （SoM）包含 256 个 CUDA 内核、一个 ARM Cortex-A57 CPU，并且能够提供 1 TFLOPS 的性能。机器学习工具和库也可以通过NVIDIA JetPack 2.3得到更广泛的使用，它是原始 cuDNN 库集的演变，通过打包CUDA Toolkit 8开发环境以使用 C 和 C++ 构建基于 GPU 的应用程序，更好地服务于 OT 开发人员；相机和 Video4Linux2 （V4L2） API；TensorRT推理引擎和 cuDNN 5.1，它现在支持循环神经网络 （RNN） 和长短期记忆 （LSTM） 网络。如图 2 所示，NVIDIA 基准测试表明，Jetson TX1 和 JetPack 2.3 中的优化与运行类似深度学习工作负载的 CPU 相比，能效提高了 20 倍，同时在典型负载下仍保持 8-10 W 功耗TX1。

图2 在运行类似的 GoogleNet 深度学习推理负载时，NVIDIA Jetson TX1
可以提供高达英特尔酷睿 i7 处理器 20 倍的能效。

从未停止学习

随着物联网为人工智能革命产生数据，监控机器学习技术进展的需求也变得很明显。这不仅可以确保具有学习能力的智能系统正确地追求其教育目标，而且还可以确保人类开发人员正确地改进机器学习所基于的底层框架和库，以实现预期目标。