跳到正文
原文
AGI Hunt· Hidenori8Tanaka·· 3 小时前AI 评分46

多语 LLM 对句子与译文编码近乎相同,新理论解释「柏拉图表征」成因

多语 LLM 对句子与译文编码近乎相同,新理论解释"柏拉图表征"成因

AI 导读

Marshall Wyart 等研究者提出新理论,统一解释多语 LLM 的「柏拉图表征假设」成因——句子与其译文的内部表征几乎相同。该理论预测,从每层中减去可由上一层线性预测的部分后,跨语言相似度会上升,并在真实 LLM 中得到确认。此前观察显示,该相似度在模型中间层最高,语言越接近、模型越好、数据越多则越高。

来源:AGI Hunt · agihunt.info