跳到正文
原文
AGI Hunt· W61k3r·· 2 小时前精选AI 评分65

24GB 显卡塞下 Qwen3.8-27B 编码模型:262k 上下文仍有 40 t/s

AI 导读

社区作者发布了 Qwen3.8-27B CODER 的量化版 GGUF(IQ4XS + imatrix,18.35 GB),经 abliterated 处理后可完整放进一张 24GB 显卡,并保留约 262k 上下文。

推荐理由

给出了量化配置、完整启动命令和 98 个真实请求的实测数据,24GB 显卡用户可据此判断本地长上下文编码模型是否可行。

来源:AGI Hunt · agihunt.info