AGI Hunt· Technion·· 2 小时前AI 评分42
Technion 研究:泛化是稳定性而非准确率,跨数据集可逆转模型排名
Technion 研究:泛化是稳定性而非准确率,跨数据集可逆转模型排名
AI 导读
Technion 团队提出,LLM 泛化应定义为同一输入在不同表述下输出的一致性与语义稳定性,而非单一格式上的聚合准确率。其稳定性感知泛化目标 SAGO 在样本级、多输入变体及生成一致性、内部激活、置信度、响应镜像等行为维度度量模型变化。研究发现常用模型普遍存在统计显著的泛化不稳定,各行为轴捕捉相互独立的失败模式,跨数据集方差甚至可逆转模型排名。
来源:AGI Hunt · agihunt.info