跳到正文
原文
AGI Hunt· alex_verem·· 2 小时前精选AI 评分65

开源推理引擎 Strata 让游戏 PC 跑 1250 亿参数模型

AI 导读

开源本地推理引擎 Strata 让消费级硬件跑起 125B 参数模型,安全研究者 evilsocket 在一张 16GB 显存 GPU 上以 IQ1M 极致量化运行 Qwen3.8-Flash-Next。

推荐理由

材料汇总了 16GB 显存与单张 RTX 5090 运行 125B 量化模型的两组实测数据,可对照了解消费级硬件的本地推理现状。

来源:AGI Hunt · agihunt.info