AGI Hunt· LeviTurk·· 12 小时前AI 评分31
LeviTurk 预判持续学习或将被「绕过预训练」的方案率先解决
AI 导读
LeviTurk 提出观点:持续学习可能很快被解决,关键洞察是「持续学习本质上只是不需要从零预训练就能起步」。他建议像 Astra 这样的模型做持续后训练,用类似「对抗预训练式 loss 基准」的爬山式数据,而非在编码基准上优化,从而绕过传统持续学习难题。该判断无实验支撑,但若可行,训练成本会更低,属于算法层面的进步。
来源:AGI Hunt · agihunt.info