arXiv cs.CL· Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Risheek Garrepalli, Mingu Lee·· 3 小时前AI 评分33
LLM 隐藏状态的信息与几何：面向投机解码的激活波分析
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
AI 导读
研究提出面向投机解码的多层隐藏状态选择框架，以矩阵熵衡量的信息量和 CKA 衡量的多样性为双重准则。作者分析了逐层 Shannon 熵、隐藏状态拼接后的聚合熵与随深度变化的成对 CKA，并据此给出基于熵与 CKA 的层选择算法与 token-entropy 过滤。在 EAGLE3 式投机解码中，所选层集合优于包括默认 [2, N//2, N-3] 规则在内的固定基线。
来源：arXiv cs.CL · arxiv.org