跳到正文
原文
AGI Hunt· Koksny·· 10 小时前AI 评分61

KLIF 开源:用一个窗口统一管理 llama.cpp、vLLM 等本地推理服务器

KLIF 开源:一个窗口统一管理 llama.cpp、vLLM 等本地推理服务器

AI 导读

开发者 Koksny 开源了 KLIF,一个用 Rust 编写、MIT 协议的本地推理服务器统一管理前端,AMD 优先,GitHub 地址为 koksny/klif。

来源:AGI Hunt · agihunt.info