AGI Hunt· vllm_project·· 6 小时前AI 评分33
vLLM XPU 支持上线,Intel Arc Pro B70 本地跑 LLM 有了新引擎
vLLM XPU 支持上线,Intel Arc Pro B70 本地跑 LLM 有了新引擎
AI 导读
B70 Launcher 0.4.8 发布,为 Intel Arc Pro B70 显卡带来 vLLM XPU 本地推理支持。这款开源桌面 UI 支持 vLLM XPU、llama.cpp SYCL、OpenVINO、EXL3 四种引擎,用户可在模型库中直接选择 vLLM XPU 并一键启动到聊天应用。安装方式为一条 curl 脚本,vLLM 官方账号转发了这一进展。
来源:AGI Hunt · agihunt.info