Andrew Lampinen 等研究：用 ICL 自写训练数据增广可提升微调泛化能力

Andrew Lampinen 与 konwookim 等人的研究发现，上下文学习（ICL）在三段论推理等更难的测试上泛化能力持续优于微调。据此他们提出一种改进微调泛化的方法：让语言模型通过 ICL 提示自写新的训练数据来增广数据集，至少在训练后期阶段能实际提升在真实数据上的泛化表现。