跳到正文
原文
AGI Hunt· burny_tech·· 2 小时前精选AI 评分68

肖涵开源 DeepSeek-V4.1-Flash 去审查版部署方案,4 张 RTX PRO 6000 单流约 200 tok/s

Han Xiao开源DeepSeek去审查版部署:4张RTX 6000跑出200 tps

AI 导读

Jina AI 创始人肖涵开源了 DeepSeek-V4.1-Flash-1017-abliterated 去审查版在 GCP 上的部署方案,4 张 NVIDIA RTX PRO 6000 上单流达到 166–211 tok/s。

推荐理由

方案给出了量化方式、并发配置与抢占式实例救援机制,可作为在少量 GPU 上部署长上下文模型的具体参考。

来源:AGI Hunt · agihunt.info