AGI Hunt· BringTea_666·· 4 小时前AI 评分50
MegaCapybara:RTX 5090 专用推理引擎,速度达 Ninfer 两倍
AI 导读
Reddit 用户发布专为 RTX 5090 与 Qwen3 27B 打造的推理引擎 MegaCapybara,单路编码解码速度 500+ t/s(瞬时可达 650 t/s),约为此前 SOTA 引擎 Ninfer 的两倍。12 个 agent 并发时总吞吐 2000+ t/s,支持 800k 甚至 100 万上下文;权重已在 Hugging Face 上线,源码稍后放出。
来源:AGI Hunt · agihunt.info