AGI Hunt· ngxson·· 4 小时前AI 评分60
llama.cpp 新增决策模型:一次前向返回各选项概率,已支持 5 个开源模型
llama.cpp 新增决策模型:一次前向返回各选项概率,已支持 5 个开源模型
AI 导读
llama.cpp server 通过 /v1/systemone 端点支持决策模型,输入文本、JSON 或截图等状态加带类型的问题后,模型在单次前向传播中为每个选项返回概率,而不再逐 token 生成文本再解析。
来源:AGI Hunt · agihunt.info