AGI Hunt· ggerganov·· 4 小时前AI 评分47
llama.cpp 新增决策模型支持,单次前向快速打分
AI 导读
llama.cpp 新增对决策模型的支持,通过 /v1/systemone 端点提供服务,遵循 TypeSafe Jev 模型引入的 System 规范。用户输入状态(文本、JSON 或截图)与带类型的问题,模型在一次前向传播中即可返回各选项的概率分布,实现快速打分。目前已有 5 个开源模型可用,最小的 144M 模型推理仅需 3 毫秒。
来源:AGI Hunt · agihunt.info