跳到正文
原文
AGI Hunt· kbesplv·· 4 小时前AI 评分54

开发者开源 warmctl,8×H100 上 37 秒恢复预热 vLLM 引擎

开源 warmctl:8×H100 上 37 秒恢复预热 vLLM 引擎

AI 导读

开发者发布开源工具 warmctl,可对完全预热好的 vLLM 引擎做快照,并在另一台主机上秒级恢复,且支持多 GPU,让「scale to zero、按需秒级拉起」可行。

来源:AGI Hunt · agihunt.info