跳到正文
原文
AGI Hunt· JFPuget·· 3 小时前AI 评分38

JFPuget:温度设 0 也非确定输出,batch 形状与 kernel 归约顺序都影响 logits

温度设 0 也非确定输出:batch 形状与 kernel 归约顺序都影响 logits

AI 导读

JFPuget 与 AIQuanting 的讨论指出,temperature=0 只是移除了采样环节,batch 形状、kernel 归约顺序以及任务落到哪块 GPU 仍会改变最终 logits,输出依旧有波动。因此「温度 0 = 可复现」是常见误解,浮点并行计算本身的非确定性无法靠调参消除。

来源:AGI Hunt · agihunt.info