AGI Hunt· jessicadai_·· 2 小时前AI 评分42
kennylpeng 团队新论文提出「原子特征」理论:不同规模 SAE 共享大量特征
新论文提出原子特征的科学理论:不同规模 SAE 共享大量特征
AI 导读
研究者 kennylpeng 团队发布新论文,提出「原子特征」(atomic features)的科学理论,通过数学推导得出可检验的预测。实验发现不同规模、不同训练数据的 SAE(稀疏自编码器)之间存在大量共享特征,大型 SAE 能同时恢复父特征与子特征,暗示特征存在层级结构。
来源:AGI Hunt · agihunt.info