跳到正文
原文
AGI Hunt· YouJiacheng·· 4 小时前AI 评分37

论文:只训 Fisher 信息排名前 0.1% 的坐标,即可拿到 on-policy 全量训练约 85% 收益

只训 Fisher 评分前 0.1% 坐标,即可拿到全量训练约 85% 收益

AI 导读

一篇论文提出,on-policy 情况下得分均值为零,因此可在看到 reward 之前按仅依赖模型本身的 Fisher 信息给坐标排序,只训练排名前 0.1% 的坐标即可在策略梯度类方法上恢复约 85% 的全量训练收益。RichardYRLi 概述了该结论,YouJiacheng 转发称其「非常有意思」。

来源:AGI Hunt · agihunt.info