跳到正文
原文
AGI Hunt· TheZachMueller·· 5 小时前AI 评分53

开源工具 llm-inference-bench 推动本地 LLM 推理测速统一标准

开源工具 llm-inference-bench 力推本地 LLM 推理测速统一标准

AI 导读

社区成员呼吁为本地 LLM 推理建立统一的 prefill/decode 测速标准,质疑各家自报吞吐数字不可比,并推荐 Local Inference Lab 开源的 llm-inference-bench 作为事实标准候选。

来源:AGI Hunt · agihunt.info