跳到正文
原文
AGI Hunt· solyarisoftware·· 4 小时前AI 评分62

AnythingLLM 弃用 Ollama 改用 llama.cpp,推理最快提升 2 倍

AnythingLLM 弃用 Ollama 改用 llama.cpp,推理最快提升 2 倍

AI 导读

AnythingLLM Desktop v1.18.0 起将内置引擎从 Ollama 切换为由 AMD 开源项目 Lemonade 管理的 llama.cpp,官方称推理速度最高提升 2 倍,运行时安装体积缩小约 13 倍。

来源:AGI Hunt · agihunt.info