跳到正文
原文
AGI Hunt· TheZachMueller·· 3 小时前AI 评分43

本地 LLM 评测乱象:tokens/s 单线程数据基本是噪音

AI 导读

TheZachMueller 指出本地 AI 评测缺少统一报告标准,单并发(c=1)下的 tokens/s 跑分基本是噪音,因为 x4/x8/x16 卡与 PCIE 代际差异让硬件环境不可比。

来源:AGI Hunt · agihunt.info