AGI Hunt· lmoroney·· 3 小时前AI 评分55
vLLM v0.31.0 发布，717 个提交，vllm preload 让量化权重跨重启常驻显存
vLLM v0.31.0 发布:717 个提交,vllm preload 让量化权重常驻显存免重启
AI 导读
vLLM 发布 v0.31.0，包含来自 307 位贡献者的 717 个提交，新增 vllm preload 让量化后的权重跨引擎重启常驻 GPU 显存，并提供 /health 端点与就绪等待。
来源：AGI Hunt · agihunt.info