跳到正文
原文
AGI Hunt· jacek2023·· 3 小时前AI 评分54

llama.cpp 合入新 PR 支持跨机器张量并行,多台电脑共跑一个大模型

llama.cpp 新 PR 支持跨机器张量并行,多电脑共跑一个大模型

AI 导读

llama.cpp 合入新 RPC 参数 -sm tensor(PR #26610,作者 am17an),支持跨多台机器做张量并行。用户可把一个模型拆分到多台电脑上共同推理,不再受单机显存限制,对本地部署超大模型的社区是重要进展。

来源:AGI Hunt · agihunt.info