跳到正文
原文
AGI Hunt· victormustar·· 2 小时前AI 评分57

4 块 RTX PRO 6000 本地跑 DeepSeek:16 并发解码达 2120 tok/s

4 块 RTX PRO 6000 跑 DeepSeek:16 并发解码 2120 tok/s

AI 导读

用户 0xSero 在约 7.5 万美元的 4×RTX PRO 6000 本地硬件上实测运行 DeepSeek,16 路并发会话下总解码速度达 2120 tok/s,跑多个带子智能体的会话时每路仍能拿到 120+ tok/s。

来源:AGI Hunt · agihunt.info