跳到正文
原文
AGI Hunt· FinanceYF5·· 4 小时前AI 评分37

一张 Blackwell GPU 的取舍:60 倍吞吐 vs 单用户 1000 Token/s

AI 导读

NVIDIA gpt-oss-120b 在 Blackwell B200 上的吞吐/交互性曲线显示,单用户独占约 1,000 Token/s,多人共享时总吞吐可达 60,000 Token/s/GPU,人均却仅约 20—100 Token/s。

来源:AGI Hunt · agihunt.info