AGI Hunt· JFPuget·· 3 小时前AI 评分45
Intel 研究员:把 temp=0 当成 LLM 完全确定性的人我不会雇
Intel 研究员:把 temp=0 当成 LLM 完全确定性的人我不会雇
AI 导读
Intel 首席研究员 JF Puget 表示,他永远不会雇佣认为 temperature=0 就能保证 LLM 推理完全确定性的候选人。被引用的观点认为,LLM 随机性来自统计模型本身,温度参数只是控制可选响应范围。Puget 强调即使温度设为 0,由于 GPU 并行归约等浮点运算的非确定性,LLM 输出也未必每次相同,这是推理栈层面的工程问题,而非仅由采样参数决定。
来源:AGI Hunt · agihunt.info