跳到正文
原文
AGI Hunt· jacek2023·· 2 小时前AI 评分22

ggerganov 为 llama.cpp 新增 spec-draft 选项优化显存占用

AI 导读

llama.cpp 作者 ggerganov 提交 PR #30459,新增 --spec-draft-n-ubatch 参数,用于优化 speculative decoding 时的 VRAM 占用。该参数面向本地部署场景,用户可借此调优显存使用。

来源:AGI Hunt · agihunt.info