跳到正文
原文
arXiv cs.CL· Kyojun Choo, Minsoo Song, Yunju Kang, Chanjun Park·· 4 小时前AI 评分37

结构化却沉默:探测 LLM 隐藏状态中的能力需求

Structured but Silent: Probing Capability Requirements in LLM Hidden States

AI 导读

TACIT 框架用 1,600 条平衡查询在四个开源权重 LLM 家族的生成前隐藏状态上训练线性探针,发现细粒度能力结构可高准确率线性解码。这些模型用自然语言显式分类同一查询时可靠性显著更低,形成表示到语言化的鸿沟,即“structured but silent”。

来源:arXiv cs.CL · arxiv.org