arXiv cs.CL· Kristina \v{S}ekrst, Barbara Geld·· 3 小时前AI 评分43
自然语言自编码器（NLAs）能识别激活，却不解释它
Natural Language Autoencoders Identify Without Explaining
AI 导读
自然语言自编码器（NLAs）用“激活→英文解释→重建激活”的往返结果判定解释是否成功，但该标准只检验信息是否充分，不检验描述是否忠实。作者指出，解释即使错误描述了激活的作用，也可能含有足以识别该激活的信息，因为重建本就志在识别而非描述。这与思维链忠实性问题同构；作为面向对齐的可解释性工具，NLAs 反而借未经核验的解释重新引入了它本欲解决的认知问题。
来源：arXiv cs.CL · arxiv.org