AGI Hunt· alex_verem·· 2 小时前精选AI 评分65
开源推理引擎 Strata 让游戏 PC 跑 1250 亿参数模型
AI 导读
开源本地推理引擎 Strata 让消费级硬件跑起 125B 参数模型,安全研究者 evilsocket 在一张 16GB 显存 GPU 上以 IQ1M 极致量化运行 Qwen3.8-Flash-Next。
推荐理由
材料汇总了 16GB 显存与单张 RTX 5090 运行 125B 量化模型的两组实测数据,可对照了解消费级硬件的本地推理现状。
来源:AGI Hunt · agihunt.info