机器学习和深度学习已成为我们生活中不可或缺的部分。利用自然语言处理（NLP）、图像分类和物体检测实现的人工智能（AI）应用已深度嵌入到我们使用的众多设备中。大多数AI应用通过云引擎即可出色地满足其用途，例如在Gmail中回复电子邮件时可以获得词汇预测。
虽然我们可以享受到这些AI应用带来的益处，但这种方法导致隐私、功耗、延时和成本等诸多因素面临挑战。如果有一个能够在数据来源处执行部分或全部计算（推断）的本地处理引擎，那么这些问题即可迎刃而解。传统数字神经网络的存储器功耗存在瓶颈，难以实现这一目标。为了解决这一问题，可以将多级存储器与模拟内存内计算方法结合使用，使处理引擎满足更低的毫瓦级（mW）到微瓦级（μW）功率要求，从而在网络边缘执行AI推断。
通过云引擎提供服务的AI应用面临的挑战
如果通过云引擎为AI应用提供服务，用户必须将一些数据以主动或被动方式上传到云，计算引擎在云中处理数据并提供预测，然后将预测结果发送给下游用户使用。下面概述了这一过程面临的挑战：
