Arm KleidiAI 与 ONNX Runtime 的集成，为 Windows 和安卓操作系统带来了显著的 AI 性能优化，实现高达 2.6 倍的 AI 推理速度提升，从而加速应用体验。
联合作者：Arm 终端事业部产品管理总监 Ronan Naughton
微软 AI 框架首席软件工程经理 George Wu
随着人工智能 (AI) 成为当今个人电脑 (PC) 和移动设备使用体验（从聊天机器人到生产力提升）中不可或缺的一部分，这些设备对 CPU 高效、可扩展的推理需求也在持续增长。Arm 与微软正携手合作以满足这一需求，在从高端台式电脑和笔记本电脑到旗舰级和入门级智能手机等各类广泛的消费类电子设备上，为用户带来加速的 AI 体验。
Arm 和微软共同将 Arm KleidiAI 进一步扩展到 ONNX Runtime （业界广泛使用的开源 AI 运行时之一）中。KleidiAI 是一款面向 AI 框架开发者的轻量级内核库，它能够在无可比拟的规模下，为广泛的技术市场以及各类基于 Arm 架构的设备，提供 AI 模型和工作负载的无缝性能优化。鉴于 KleidiAI 已成功集成到其他领先的 AI 框架上，这次的合作是在此成功基础上的又一重要进展。
加速边缘设备上的 AI 体验
Windows on Arm 生态系统在过去几年实现了显著的增长。包括 Adobe Photoshop、Google Chrome、Spotify 和 Zoom 等广受欢迎的应用程序，都纷纷推出了 Arm 原生版本，以充分发挥其性能和能效优势。通过将 KleidiAI 集成到 ONNX Runtime 中，广大的应用程序开发者无需额外投入工程时间，就能获得 PC 和移动设备的 AI 性能提升。ONNX Runtime 为微软诸多产品的 AI 工作负载提供支持，包括 Microsoft 365 套件以及 Microsoft Copilot 等，并为 Copilot + PC 打造卓越的 AI 体验。
KleidiAI 与 ONNX Runtime 的集成优化了包含 Phi-3 Mini 等一系列模型在内的 AI 工作负载。Phi-3 Mini 是一个拥有 38 亿参数的小型语言模型，专为边缘设备的先进 AI 体验量身定制。这些 AI 体验包括实时聊天机器人、虚拟助手、智能文本补全以及生产力工具的功能增强等，所有这些功能均可在设备本地实现。通过将 Phi-3 Mini 紧凑的结构与 KleidiAI 高效的 CPU 执行提供程序 (Execution Provider) 集成配对，开发者无需依赖云端连接，即可在设备上快速实现智能功能。
提升 PC 和移动设备上的实际 AI 性能
在 PC 和移动平台上，该集成已为终端用户带来了切实的益处。它显著加快了 AI 的响应速度，使设备能够直接实现更智能、更快速的交互，且无需开发者进行架构改动或后端重写。
根据 Arm 的基准测试显示，在 KleidiAI 集成到 ONNX Runtime 后，系统性能得到了显著的提升，包括在基于 Armv9 平台的 Windows 设备上运行 Phi-3 模型时，提示处理吞吐量提升了 2.4 倍，词元 (token) 生成速度加快了 12%。这些性能改进使聊天机器人等 AI 应用能够给出更加自然流畅的回应。同样地，在搭载最新 Armv9 CPU 的 vivo X200 Pro 旗舰智能手机上运行相同 Phi-3 模型的参考安卓应用中，提示处理速度加快了 2.6 倍。
由于 KleidiAI 的集成运行在全球应用广泛的 Arm CPU 架构上，这使得 AI 应用与工作负载能够在不同的生态系统及芯片组之间无缝移植。KleidiAI 的设计旨在与当前的 Arm 架构特性，如 Neon、可伸缩矢量扩展 (SVE2) 及可伸缩矩阵扩展 (SME) ，展开协同工作。这些面向未来的功能确保开发者能够构建当下的 AI 增强体验，并使其随着未来的硬件创新而扩展。KleidiAI 与 ONNX Runtime 的集成已在 ONNX RT V1.22 中发布。
推动 AI 规模化落地
Arm 与微软的合作为开发者普及优化 AI 迈出了变革性的一步。该合作简化了在各类 PC 和移动设备上部署智能功能的流程，无需增加成本或开发工作量，同时为终端用户带来加速的 AI 体验。随着 AI 的持续演进，这些优化工作将确保开发者、OEM 厂商和操作系统提供商拥有出色的性能、灵活性和广泛的覆盖范围，为更多用户带来更优质、更智能的体验。
访问以下学习路径，了解 KleidiAI 与 ONNX Runtime 集成的更多信息：
