AGI Hunt· _akhaliq·· 4 小时前AI 评分31
NVIDIA 为 Nemotron 3.5 Bolt 发布 LiLiCorr 投机解码 draft,加速 74B 推理
NVIDIA 为 Nemotron 3.5 Bolt 发布 LiLiCorr 投机解码 draft,加速 74B 推理
AI 导读
NVIDIA 在 Hugging Face 发布面向 Nemotron 3.5 Bolt 的 LiLiCorr 投机解码 draft 模型,与 74B 目标模型配对以加速推理。该 draft 负责接受更长的 token 块以加速生成,目标模型对每个 token 进行验证,从而在保证输出质量的前提下提升服务速度。
来源:AGI Hunt · agihunt.info