跳到正文
原文
arXiv cs.CL· Xi Ding, Naichen Shi, Jiawei Zhang·· 4 小时前AI 评分32

两个向量取代 in-context 示例:STAVE 通过嵌入实现结构化任务适配

Two Vectors Replace In-Context Demos: Structured Task Adaptation via Embeddings

AI 导读

STAVE 用两个任务特定向量取代 in-context 示例,readout 向量更新产出答案的 token,context 向量更新其他结构 token 组。在六个 LMM 与五个 LLM 上,它以远少于现有方法的任务参数匹配或超越 SOTA,并在 18 个文本任务上超过 15-shot ICL 和此前的 task vector,推理成本与零样本相同。

来源:arXiv cs.CL · arxiv.org