跳到正文
原文
AGI Hunt· vllm_project·· 5 小时前AI 评分39

vLLM 公布 P/D 原型与 MTP3 实测结果

AI 导读

vLLM 公布预发布实测数据:P/D(prefill/decode 分离)原型在 12 张 GB300 上运行,以 DEP4 prefill 连接 DEP8 decode,前缀命中率 91.24%。B300 DEP8 环境下 MTP3 与基线对比验证,AIME25 得分从 0.9500 升至 0.9667 且零错误,GPQA 从 0.9268 小幅变动至 0.92 左右。

来源:AGI Hunt · agihunt.info