Attention Relay：免训练把 LLM 指令遵循能力迁移到文本嵌入模型

Attention Relay 把指令微调 LLM 产生的注意力权重直接中继给嵌入模型的注意力池化，使嵌入器无需任何训练即可遵循任务指令。在 Qwen3、Llama 3.1、OLMo 3 三族共 6 个指令 LLM 与 10 个不同分词器、规模和池化方式的嵌入模型组合上，几乎每组都变得指令感知。分析显示 LLM 后层注意力权重追踪指令，且主要来自指令微调。