跳到正文
原文
AGI Hunt· ziyaulhuk12·· 4 小时前AI 评分20

三台异构机器用 LM Studio/Ollama 跑本地推理,如何统一服务与监控?

三台异构机器跑本地推理,如何统一服务与监控?

AI 导读

Reddit 用户用 LM Studio/Ollama 在三台异构机器上跑本地推理,因缺少统一视图向社区求教。三台机器为 AMD(Ryzen 9 9950X + RX 7900 XTX)、NVIDIA(i5-10400 + RTX 3050)和 MacBook Pro M3,痛点是无法在一处查看各节点模型与版本、token 吞吐、VRAM/统一内存压力。

来源:AGI Hunt · agihunt.info