AGI Hunt· alan_ritter·· 3 小时前AI 评分43
Ornith-1.5 全系开源 DFlash 草稿模型,最高 2.54 倍无损加速
AI 导读
ornith-ai 在 Hugging Face 上为 Ornith-1.5 全系模型(9B、35B-A3B、397B)发布配套 DFlash 投机解码草稿模型权重,实现最高 2.54 倍的无损推理加速。三个草稿模型检查点已全部上架 Hugging Face,用户可结合主模型进行投机解码。在不损失输出质量的前提下显著提升推理速度。
来源:AGI Hunt · agihunt.info