英特尔开源NPU加速库，方便使开发人员优化其AI应用 - 英特尔

量子大观

通信人家园

C114通信网

光通信观察

DVBCN中广5G

2024/3/3 14:48

英特尔开源NPU加速库，方便使开发人员优化其AI应用

IT之家

@Tony MongkolsmAI 发现，英特尔已经在 GitHub 上开源了其 NPU 加速库，支持 Windows 和 Linux。

开发人员可以按照相应文档对其软件进行优化，从而适配新一代 AI 模型，包括 TinyLlama 和 Gemma-2b-it。

根据官方描述：英特尔 NPU 加速库是一个 Python 库，旨在利用英特尔神经处理单元 (NPU) 的强大性能在兼容硬件上执行高速计算，从而提高应用的效率。

英特尔还表示其 NPU 加速库目前不断开发中，后续将推出各种能显著提高性能的功能，截至IT之家发稿已经实现了 8bit 量化、Float16 支持、torch.compile 支持等，后续还将支持 NPU / GPU 异构计算等功能。

免责声明：本文仅代表作者个人观点，与C114通信网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。

给作者点赞

0 VS 0

写得不太好