无需GPU的激活对齐提升表格模型ICL性能

独立研究者提出一种名为 activation alignment（激活对齐）的方法，用于提升表格基础模型的上下文学习（ICL）性能。该方法用一个看过完整上下文的“教师”模型的激活，去引导只能看到部分上下文的“学生”模型，只需在合成无标签数据上训练一个轻量线性变换，无需 GPU，在普通硬件上数秒到数分钟即可收敛。报道称，在 TabArena 的 38 个分类数据集上，TabPFN-3 与 TabFM 两个表格基础模型对齐后的学生模型，在所有上下文预算下均取得统计显著提升，低数据场景下可恢复教师约一半的预测优势。报道未披露方法更多细节、对比基线数量及后续计划，目前进展即为上述实验结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。