跳到正文
原文
AGI Hunt· KissMyShinyArse·· 6 小时前AI 评分33

Strata 推理引擎冷知识:run 配置可加 sampling 块设默认采样参数

Strata 采样参数冷知识:run 配置里可加 sampling 块设默认值

AI 导读

Strata 推理引擎的 run 配置可加入 sampling 块设定默认采样参数,如 temperature 1.0、topp 0.95、topk 20。该块只对未带采样字段的请求生效,请求自身字段优先级更高;完全不配置时,这类请求将以贪心解码运行。该用法未见于顶层 README,仅在 docs/DETAILS.md 中说明。

来源:AGI Hunt · agihunt.info