AGI Hunt· akbirthko·· 2 小时前AI 评分33
Gwern 旧论断被重提:采样只能揭示知识的在场,无法证明缺席
Gwern 旧论断被重提:采样只能揭示知识的在场,无法证明缺席
AI 导读
akbirthko 在 X 上重提 Gwern 的论断:采样只能揭示知识的在场,而不能揭示知识的缺席,并称这句话本应足以解释很多事。该洞察在 LLM 评测中意味着,单次生成失败不能证明模型不掌握某知识或能力,可能只是采样运气问题。解读“模型不会 X”的负向结论需要更充分的采样或更严格的探测方法,否则容易被温度和运气误导。
来源:AGI Hunt · agihunt.info