跳到正文
原文
AGI Hunt· Independent-Researcher·· 2 小时前AI 评分44

无需 GPU 的激活对齐:TabPFN-3 与 TabFM 表格 ICL 上下文砍一半性能不掉

无需 GPU 的激活对齐:表格 ICL 少样本砍一半性能不掉

AI 导读

独立研究者提出 activation alignment:用全上下文的「教师」激活引导只看部分上下文的「学生」,只需在合成无标签数据上训练一个轻量线性变换,无需 GPU,在普通硬件上数秒到数分钟收敛。在 TabArena 的 38 个分类数据集上,TabPFN-3 和 TabFM 两个表格基础模型对齐后的学生在所有上下文预算下均取得统计显著提升,低数据场景下可恢复教师约一半的预测优势。

来源:AGI Hunt · agihunt.info