跳到正文
热点事件持续更新

llama.cpp 新增 --spec-draft-n-ubatch 参数优化显存

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

llama.cpp 是常用的本地大模型推理框架。2026 年 10 月 14 日,据 AGI Hunt 报道,llama.cpp 作者 ggerganov 提交 PR #30459,为该框架新增 --spec-draft-n-ubatch 参数。报道称,该参数用于优化 speculative decoding(投机解码)时的 VRAM 显存占用,面向本地部署场景,用户可借此对显存使用进行调优。报道未披露该参数的具体取值、默认值、与其他参数的配合方式或性能与显存对比数据,也未说明该 PR 是否已合入或被合并进哪个版本。截至该报道,关于此事件的公开信息仅此一条,暂无后续进展。

AI 根据报道生成 · 48 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. AGI Hunt
    ggerganov 为 llama.cpp 新增 spec-draft 选项优化显存占用

    llama.cpp 作者 ggerganov 提交 PR #30459,新增 --spec-draft-n-ubatch 参数,用于优化 speculative decoding 时的 VRAM 占用。该参数面向本地部署场景,用户可借此调优显存使用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。