跳到正文
原文
AGI Hunt· TheZachMueller·· 4 小时前AI 评分43

4×B200 实测并发扫描:用 TTFT/ITL/tok/s 看本地模型负载表现

4xB200 实测并发扫描:用 TTFT/ITL/tok/s 看本地模型负载表现

AI 导读

开发者 TheZachMueller 分享了一套仍在打磨中的本地模型性能评测方法:在不同并发压力下扫描推理服务,报告 TTFT、ITL 和 tok/s 三项指标,以此反映模型在特定硬件上的真实负载表现。他给出了在 4 张 B200 上的实测示例,并表示后续会发布更多本地模型测试报告。

来源:AGI Hunt · agihunt.info