研究：层复制与循环结构让语言模型更早学会上下文学习

TUM/Helmholtz AI/Google 团队研究发现，层复制与循环（looped、depth-grown）结构让语言模型更早获得上下文学习能力。在 3B 参数规模下，这类模型比同深度 dense 模型从后置上下文获益更多，任意 few-shot 数量下 GSM8K 成绩更高，对未见过的形式语言预测更准。