跳到正文
原文
AGI Hunt· paf1138·· 4 小时前AI 评分47

llama.cpp 新增 Decision Models,本地推理迎来新玩法

llama.cpp 新增 Decision Models,本地推理迎来新玩法

AI 导读

llama.cpp 引入 Decision Models 新特性并新增决策模型端点,可在单次前向中直接给出各选项概率。该特性面向模型决策与路由场景,来自 ggml 官方博客,对本地部署和端侧推理用户值得关注。

来源:AGI Hunt · agihunt.info