AGI Hunt· _reachsumit·· 1 天前AI 评分39
arXiv 论文《Focusing Condition》提出 SCS:推理时零训练提升 LLM 条件文本嵌入
单层注意力自对比引导,推理时零训练提升 LLM 条件文本嵌入
AI 导读
arXiv 论文《Focusing Condition》提出推理时即插即用的自对比引导方法 SCS,通过遮蔽条件得到无条件嵌入,再用它引导多头自注意力计算,提升 LLM 条件文本嵌入质量。该方法无需额外数据或微调,推理时仅多一次多头自注意力计算。在聚类、语义文本相似度(STS)和三元组对齐数据集上验证,可叠加现有 prompt 方法并全面提升性能,代码已开源。
来源:AGI Hunt · agihunt.info