康奈尔助理教授提出“微调者谬误”：早期训练数据影响难以靠后期微调逆转

即将加入 Cornell Tech 的 Pratyusha Maini 提出“微调者谬误”：模型早期训练所见数据会在表征中留下极难在后期撤销的印记，仅靠后期微调难以逆转早期数据的影响。她将在 COLM 现场介绍两篇关于预训练阶段塑造模型行为的研究，与 Christina Baek 等合作者共同完成，并同时现场招生。