摩尔线程 MUSA 架构成功适配开源推理框架 llama.cpp

摩尔线程 MUSA 架构成功适配开源推理框架 llama.cpp

摩尔线程自主研发的 MUSA 架构已完成与开源推理框架 llama.cpp 的适配,支持 LLaMA、Mistral 等主流模型及多模态应用,用户可在 MTT S80/S3000/S4000 系列 GPU 上高效运行 AI 推理。此前 MUSA SDK 4.0.1 已扩展支持 Intel 处理器与国产海光平台,此次适配进一步降低大模型部署门槛,推动本土 AI 硬件生态发展。

原创文章,作者:网站编辑,如若转载,请注明出处:https://www.devcn.xin/1597.html

(0)
网站编辑的头像网站编辑
上一篇 1天前
下一篇 1天前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注