跳到正文
原文
AGI Hunt· vllm_project·· 3 小时前AI 评分42

DFlash2 为 Beam 解码提速最高 3.03 倍

AI 导读

DFlash2 在 GSM8K、MATH500、HumanEval、MBPP 和 MT-Bench 五个数据集上为 Beam 带来 1.72–3.03 倍纯解码加速,其中 GSM8K 在并发 1/16/32 下分别为 3.03×/2.51×/2.75×。

来源:AGI Hunt · agihunt.info