Ultramarine 发布博客公开 RL 奖励公式：惩罚多余 token 与无效工具调用

Ultramarine 模型在发布博客中公开其 agent 训练的奖励塑形公式，直指生成过多 token 与无效工具调用两大痛点。每次无效工具调用按 λ 计罚、总罚金封顶于 ctool，回合因子 f(n) 让正奖励从第 n₀ 回合起线性衰减至 nmax 归零，组内平均奖励为正时启用输出长度惩罚 P(T)。核心思路是鼓励模型探索，但不让它靠破坏规则获利。