跳到正文
原文
AGI Hunt· BLUECOW009·· 6 小时前AI 评分27

4090 跑 Qwen 3.8 本地模型,上下文窗口约 32k 就爆显存

4090 跑 Qwen 本地模型,上下文窗口约 32k 就爆显存

AI 导读

用户称在 4090 上运行 Qwen 3.8 时,上下文窗口只能开到约 32k 就会耗尽显存,对实际工作来说很受限。相关讨论指出,多数人没意识到本地运行并非可以无限扩展,长上下文本地化存在硬性物理限制。

来源:AGI Hunt · agihunt.info