跳到正文
原文
AGI Hunt· jacek2023·· 1 天前AI 评分42

ornith-ai 开源 Ornith-1.5 三款 DFlash 投机解码草稿模型

Ornith-1.5 三款模型开源 DFlash 投机解码草稿权重

AI 导读

ornith-ai 在 Hugging Face 发布三个 DFlash 草稿模型检查点,为 Ornith-1.5-9B、Ornith-1.5-397B 和 Ornith-1.5-35B-A3B 提供投机解码加速。DFlash 草稿模型并非独立语言模型,须与目标模型在支持 DFlash 的推理环境中配合运行,仓库同时附带 serving 配置。

来源:AGI Hunt · agihunt.info