arXiv cs.CL· Ran Li, Lei Chen·2026-10-07 12:00· 4 小时前AI 评分39

Prefill-only 决策模型的读出稳定性：零标签预测与推理时算力分配

Readout Stability in Prefill-Only Decision Models:Zero-Label Prediction and Inference-Time Compute Allocation

AI 导读

受 Jev 启发的 prefill-only 决策模型一次前向即可为候选打分、不解码，成本比同规模生成式语言模型低 1–2 个数量级。仅改变候选菜单时，缓存的首次前向分布即可无标签预测准确率，7 个模型家族、10 个数据集上误差在 4.2 分内。

来源：arXiv cs.CL · arxiv.org