跳到正文
原文
AGI Hunt· BlackHC·· 14 小时前AI 评分29

BlackHC 报告自适应深度停机规则负结果:损失更差、所选深度反而更多

自适应深度停机规则负结果:损失更差、选的深度反而更多

AI 导读

BlackHC 报告自适应深度停机规则的负结果:在变深训练与修复后,用状态余弦相似度做停机规则,固定深度 4 的损失为 3.3761,而自适应停机平均选择 4.75 次传递、损失 3.3816。损失更差、所选深度反而更多,作者提醒这并非实测的 FLOPs 节省。

来源:AGI Hunt · agihunt.info