热点事件持续更新
llama.cpp 新增 --spec-draft-n-ubatch 参数优化显存
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
llama.cpp 是常用的本地大模型推理框架。2026 年 10 月 14 日,据 AGI Hunt 报道,llama.cpp 作者 ggerganov 提交 PR #30459,为该框架新增 --spec-draft-n-ubatch 参数。报道称,该参数用于优化 speculative decoding(投机解码)时的 VRAM 显存占用,面向本地部署场景,用户可借此对显存使用进行调优。报道未披露该参数的具体取值、默认值、与其他参数的配合方式或性能与显存对比数据,也未说明该 PR 是否已合入或被合并进哪个版本。截至该报道,关于此事件的公开信息仅此一条,暂无后续进展。
AI 根据报道生成 · 48 分钟前更新
最新进展10月14日 19:08
ggerganov 提交 PR #30459,新增 --spec-draft-n-ubatch 参数优化投机解码显存。报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- AGI Huntggerganov 为 llama.cpp 新增 spec-draft 选项优化显存占用
llama.cpp 作者 ggerganov 提交 PR #30459,新增 --spec-draft-n-ubatch 参数,用于优化 speculative decoding 时的 VRAM 占用。该参数面向本地部署场景,用户可借此调优显存使用。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。