TokenGate：长上下文预填充最高提速11.3倍

2026年10月26日，AGI Hunt 报道，Stanford 与 UC Berkeley 研究者发布 TokenGate，一种面向长上下文预填充的学习型 token 剪枝方法。该方法在低层处理全部 token，通过学习得到的门控只保留分数最高的前 K 个（top-K）文档 token，且问题 token 永不剪枝。报道称，该方法将首个 token 生成时间（TTFT）最高提速 11.3 倍，峰值预填充内存降低 3.4 倍，并比次优剪枝器快 6.4 倍。目前该工作处于方法发布阶段，报道未披露论文发表、代码开源或第三方复现情况。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。