跳到正文
原文
AGI Hunt· jacek2023·· 4 小时前AI 评分56

llama.cpp 合并 GLM5Next MTP 支持,智谱 GLM 5 Flash 可本地部署

AI 导读

llama.cpp 已合并 GLM5Next MTP 支持的 PR(#29928),智谱 GLM 5 Flash 现在可以通过 llama.cpp 在本地运行,并支持 MTP(多 token 预测)推理优化。本地部署用户可以在自己的硬件上运行该模型。

来源:AGI Hunt · agihunt.info