跳到正文
原文
AGI Hunt· zhaoran_wang·· 5 小时前AI 评分47

NeurIPS 论文:任务越难,LLM 内部表征越稀疏,并可据此优化 ICL

NeurIPS 论文:任务越难 LLM 内部表征越稀疏,还可据此优化 ICL

AI 导读

NeurIPS 2026 论文《Farther the Shift, Sparser the Representation》发现,LLM 面对更难任务时最后隐藏层表征越稀疏(激活能量集中于更少维度),相关性 |r|>0.89。

来源:AGI Hunt · agihunt.info