AGI Hunt· livgorton·· 2 小时前AI 评分33
Toy Models of Superposition(TMS)论文被低估:多义性藏于弱激活的洞见仍被忽视
TMS 论文被低估:多义性藏于弱激活的洞见仍被忽视
AI 导读
研究者 livgorton 认为,可解释性重磅论文 Toy Models of Superposition(TMS)仍被低估,其许多预测和讨论到如今才逐步被验证。她特别指出一个与 LM 可解释性研究者实际发现高度吻合的观点:MLP 神经元在其最强激活上往往显得可解释,而多义性主要藏在较弱的激活里。
来源:AGI Hunt · agihunt.info