AGI Hunt· matteiuspi·· 3 小时前AI 评分48
两张 96GB 昇腾卡本地跑 Qwen3.8 Flash-Next：从 1 tok/s 调到 30 tok/s 全记录
两张 96GB 昇腾卡本地跑 Qwen:从 1 tok/s 调到 30 tok/s 全记录
AI 导读
作者用两张华为 Atlas 300I Duo（共 192GB，实为 4 个 48GB rank）本地跑 Qwen3.8 Flash-Next，把推理速度从初始约 1 tok/s 提到单请求约 30 tok/s、四路并发合计约 61 tok/s。
来源：AGI Hunt · agihunt.info