跳到正文
原文
AGI Hunt· Oswald_Hydrabot·· 3 小时前AI 评分40

硬核玩梗:566GB 的 MiMo-2.6-Pro 塞进 128GB Jetson AGX Thor,跑出 0.646 tok/s

硬核玩梗:566GB 的 MiMo Pro 塞进 128GB Jetson,跑出 0.646 tok/s

AI 导读

一名开发者把约 566GB(FP8)的 MiMo-2.6-Pro 塞进仅 128GB 内存的 Jetson AGX Thor,首跑速度 0.646 tokens/秒,推理中途需从磁盘读取权重、逐层挤出 token。为回应 Dario「开源至少能看源码」的说法,作者逐层追踪并记录了每个 decoder layer、路由 expert 和 SSD 读取过程,可逐步回放。

来源:AGI Hunt · agihunt.info