跳到正文
原文
AGI Hunt· ac101m·· 4 小时前AI 评分60

开源 sleepy-llm 反向代理:让本地 LLM 服务器按需自动唤醒关机

AI 导读

Reddit 用户 ac101m 发布开源反向代理 sleepy-llm,放在客户端与推理机之间,有请求时自动唤醒本地 LLM 服务器并转发,空闲一段时间后自动关机以节省电力。

来源:AGI Hunt · agihunt.info