AGI Hunt· cong_ml·· 3 小时前AI 评分46
48GB M4 Pro 上用 llama.cpp 跑 8 个 Agent 共享一个本地 40B Flint 模型的研究蜂群
在 48GB M4 Pro 上跑 8 个 Agent 共享一个本地 40B 模型做研究蜂群
AI 导读
作者在 48GB M4 Pro 上通过 llama.cpp 让 8 个 Agent 共享同一个本地 40B Flint 模型组成研究蜂群,只需给出一个问题和一个待打破的分数,它们就会自行写代码、测试想法并互相迭代。六小时实测中,8 个 Agent 比单个快 2.3 倍,单实例并发推理提速 1.9 倍。机制上采用共享最优程序与四类指令轮换,防止 Agent 同质化。
来源:AGI Hunt · agihunt.info