跳到正文
原文
AGI Hunt· ClementineDomi6·· 2 小时前AI 评分35

λ-JEPA 提出谱正则化 SACReg,防表征坍缩并超越 LeJEPA

AI 导读

Locatello 团队等发布论文 λ-JEPA,提出谱防坍缩正则项 SACReg,解决联合嵌入自监督学习中骨干表征维度坍缩、有效秩偏低问题。该正则基于 λ-balance 分析,在两层线性网络中证明可防坍缩,非线性场景在 ImageNet100 上提升表征秩。

来源:AGI Hunt · agihunt.info