跳到正文
原文
arXiv cs.CL· Xinyu Guo, Minglai Yang, Clayton T. Morrison, Eduardo Blanco, Mihai Surdeanu·· 3 小时前AI 评分41

TaxoSAE:通过分类学逻辑重新思考稀疏自编码器

TaxoSAE: Rethinking Sparse Autoencoders through Taxonomic Logic

AI 导读

TaxoSAE 将 is-a 上下位关系显式编码进稀疏自编码器(SAE)特征空间。在两个事实问答分类体系上,其抽象概念上位词读取准确率提升 31.3 点,概念交换成功率提升 25.5 点,未见概念的上位词读取最高提升 37.9 点。抑制某概念仅影响自身答案(0-2%,其他概念 91-100%)。

来源:arXiv cs.CL · arxiv.org