AGI Hunt· antoine_chaffin·· 2 小时前AI 评分44
双向注意力毁缓存?antoine_chaffin 实测四种注意力方案找到两全配方
双向注意力毁缓存?作者实测四种注意力方案找到两全配方
AI 导读
针对完全双向注意力导致状态缓存无法复用,作者实测四种注意力 schema 后给出配方:先用完全双向训练,再做一次去掉「状态→问题」注意力的小微调。该方案不缓存得分 62.16,持平或优于 v1.1;带缓存 61.18,仅比 v1.1 低 0.4。而可缓存的最朴素 PrefixLM 风格方案只有 59.53,比完全双向低 2.0,其中一半差距来自把问题改成因果。
来源:AGI Hunt · agihunt.info