arXiv cs.CL· Kyojun Choo, Minsoo Song, Yunju Kang, Chanjun Park·· 4 小时前AI 评分37
结构化却沉默:探测 LLM 隐藏状态中的能力需求
Structured but Silent: Probing Capability Requirements in LLM Hidden States
AI 导读
TACIT 框架用 1,600 条平衡查询在四个开源权重 LLM 家族的生成前隐藏状态上训练线性探针,发现细粒度能力结构可高准确率线性解码。这些模型用自然语言显式分类同一查询时可靠性显著更低,形成表示到语言化的鸿沟,即“structured but silent”。
来源:arXiv cs.CL · arxiv.org