大模型通用智能因子最多解释70.8%性能方差

一项对 13,251 条已发布评测分数的大规模因子分析，覆盖 1,618 个语言模型和 456 个纯文本基准，考察语言模型的机器智能能在多大程度上被单一通用智能因子（g 因子）解释。结果显示，在最宽松的估计下，g 因子也仅能解释语言模型性能方差的 70.8%，在多数方案中远低于这一数值。分析还发现，内容相似的基准不一定聚在一起，g 因子也不被任何常见主题所主导。作者据此认为，将通用智能当作可定义、可瞄准的实体来推进语言模型开发，缺乏证据支持。该工作以预印本形式发表于 arXiv cs.CL，暂无进一步进展。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。