AGI Hunt· jacek2023·2026-10-14 19:08· 2 小时前AI 评分22ggerganov 为 llama.cpp 新增 spec-draft 选项优化显存占用AI 导读llama.cpp 作者 ggerganov 提交 PR #30459,新增 --spec-draft-n-ubatch 参数,用于优化 speculative decoding 时的 VRAM 占用。该参数面向本地部署场景,用户可借此调优显存使用。来源:AGI Hunt · agihunt.info#产品更新#开源/仓库#部署/工程#端侧查看事件全部后续