英特尔在GtiHub上开源NPU加速库,支持Windows和Linux
近日一位ID为Tony Mongkolsmai的用户在推特平台上发帖称:英特尔已经在GitHub上开源了NPU加速库,日后开发人员优化AI应用更方便,目前NPU加速库支持Windows和Linux。
该加速库供开发人员使用使用NPU模型,可以按照相应的文档对AI应用进行优化,适配新一代的AI模型,当前参照GitHub文档可以允许TinyLlama和Gemma-2b-it。
英特尔NPU加速库其实可以理解为是一个Python库,利用NPU的强大的性能在硬件上执行高速计算,以此来提高应用的效率。目前英特尔NPU加速库还在进一步开发当中,未来也将推出更多提高性能的功能,截至目前加速库已经实现了8bit量化等一系列功能,不久还将支持NPU/GPU异构计算。