跳到正文
原文
AGI Hunt· Xianbao_QIAN·· 2 小时前AI 评分56

vLLM 创作者团队推出推理平台 Inferact,定位可控的前沿推理

vLLM 原班人马创业做 Inferact:可控的高性价比推理平台

AI 导读

vLLM 创作者团队推出推理平台 Inferact,定位可控的前沿推理,分 Inferact Platform 与 Inferact Cloud 两条产品线。Inferact Platform 部署在用户自己的云或数据中心,权重、流量、日志留在用户环境内;Inferact Cloud 使用团队提供的 GPU,由 vLLM 原作者工程师做推理调优。

来源:AGI Hunt · agihunt.info