跳到正文
原文
AGI Hunt· jesdga95·· 3 小时前AI 评分53

Basalt 开源:面向 Blackwell 的推理引擎,视觉按需加载近乎零显存占用

Basalt:面向 Blackwell 的快速推理引擎,动态视觉零显存占用

AI 导读

Reddit 用户发布 Basalt,一个从 Strata 分叉、面向 Blackwell GPU 深度调优的开源推理引擎,支持视觉并采用编码器按需加载方案。其 --vision dynamic 让编码器空闲时驻留内存,图片到达时借用专家缓存槽位,约 30ms 上传显存完成编码,结束后约 60ms 从内存回填专家权重,纯文本场景零性能损失。

来源:AGI Hunt · agihunt.info