国产开源推理引擎“赤兔”再升级：打造国产算力与国产模型适配的快速路
8 月 1 日，国产开源推理引擎“赤兔”正式发布 v0.4 版本，在昇腾上推理速度达到了新高度，双方联合优化的效果为行业提供了新的技术样本。赤兔推理引擎是由清华系 AI Infra 明星创企——清程极智联合清华大学团队发布的开源项目。在今年三月首个版本发布时，赤兔通过底层算子优化（如 GeMM、MoE 的指令级重构）和编译技术创新，首次实现在无 FP8 硬件单元的算力芯片上原生运行 FP8 高精度模型，赋能众多存量算力芯片推理 DeepSeek-R1 满血版大模型。
GitCode 地址：https://gitcode.com/qingcheng-ai/chitu
原创文章，作者：网站编辑，如若转载，请注明出处：https://www.devcn.xin/1484.html
