arXiv cs.CL· Kavinda Kehelella, Sanghamitra Dutta·· 3 小时前AI 评分37
COFFEQA：面向 LLM 问答的反事实引导少样本蒸馏
COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering
AI 导读
COFFEQA 提出反事实引导的少样本蒸馏策略，用经 CFD 指标验证的「事实—反事实」上下文对，为 LLM 开卷问答蒸馏提供额外监督。在 T5 与 Qwen2.5 家族、5 个域内和 3 个域外问答基准上，它优于仅用事实样本的蒸馏基线；TriviaQA 上 32 个少样本对时平均 EM 提升 8.77、F1 提升 9.98。
来源：arXiv cs.CL · arxiv.org