AGI Hunt· JFPuget·· 3 小时前AI 评分38
JFPuget:温度设 0 也非确定输出,batch 形状与 kernel 归约顺序都影响 logits
温度设 0 也非确定输出:batch 形状与 kernel 归约顺序都影响 logits
AI 导读
JFPuget 与 AIQuanting 的讨论指出,temperature=0 只是移除了采样环节,batch 形状、kernel 归约顺序以及任务落到哪块 GPU 仍会改变最终 logits,输出依旧有波动。因此「温度 0 = 可复现」是常见误解,浮点并行计算本身的非确定性无法靠调参消除。
来源:AGI Hunt · agihunt.info