跳到正文
原文
AGI Hunt· ngxson·· 4 小时前AI 评分60

llama.cpp 新增决策模型:一次前向返回各选项概率,已支持 5 个开源模型

llama.cpp 新增决策模型:一次前向返回各选项概率,已支持 5 个开源模型

AI 导读

llama.cpp server 通过 /v1/systemone 端点支持决策模型,输入文本、JSON 或截图等状态加带类型的问题后,模型在单次前向传播中为每个选项返回概率,而不再逐 token 生成文本再解析。

来源:AGI Hunt · agihunt.info