跳到正文
热点事件持续更新

llama.cpp 单实例并发服务 8 个 Agent,吞吐提升 1.9 倍

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026 年 10 月 27 日 AGI Hunt 报道,作者在 48GB M4 Pro 上用 llama.cpp 让 8 个 Agent 共享同一个本地 40B Flint 模型,组成“研究蜂群”:只需给出一个问题和待打破的分数,它们便自行写代码、测试想法并互相迭代。机制上共享最优程序并轮换四类指令,防止 Agent 同质化。六小时实测中,8 个 Agent 比单个 Agent 快 2.3 倍;由服务端批量处理请求,8 个并发请求的总 token 吞吐达到单请求的 1.9 倍,即单实例并发推理提速 1.9 倍。每个 Agent 写得更慢,但合计产出几乎翻倍,被视为本地多 Agent 可行的关键工程细节。两篇报道数字一致。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    一个 llama.cpp 实例服务 8 个 Agent:并发推理吞吐提升 1.9 倍

    8 个 Agent 共享 llama.cpp 中的同一份 Flint 模型,由服务端批量处理请求,在 M4 Pro 上 8 个并发请求的总 token 吞吐达到单请求的 1.9 倍。每个 Agent 写得更慢,但合计产出几乎翻倍,这是本地多 Agent 可行的关键工程细节。

  2. AGI Hunt
    48GB M4 Pro 上用 llama.cpp 跑 8 个 Agent 共享一个本地 40B Flint 模型的研究蜂群

    作者在 48GB M4 Pro 上通过 llama.cpp 让 8 个 Agent 共享同一个本地 40B Flint 模型组成研究蜂群,只需给出一个问题和一个待打破的分数,它们就会自行写代码、测试想法并互相迭代。六小时实测中,8 个 Agent 比单个快 2.3 倍,单实例并发推理提速 1.9 倍。机制上采用共享最优程序与四类指令轮换,防止 Agent 同质化。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。