Ultramarine 公开 RL 奖励塑形公式

2026 年 10 月 15 日，据 AGI Hunt 报道，Ultramarine 模型在发布博客中公开其 agent 训练的奖励塑形公式，直指生成过多 token 与无效工具调用两大痛点。报道称，该公式对每次无效工具调用按 λ 计罚，总罚金封顶于 ctool；回合因子 f(n) 让正奖励从第 n₀ 回合起线性衰减，至 nmax 归零；组内平均奖励为正时启用输出长度惩罚 P(T)。报道将核心思路概括为鼓励模型探索，但不让它靠破坏规则获利。目前公开的信息止于这份公式说明，尚无后续进展报道。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。