跳到正文
原文
AGI Hunt· _reachsumit·· 2 小时前AI 评分34

SLIDE 蒸馏框架让生成式检索一次贪心解码生成完整 Top-K 排序列表

AI 导读

SLIDE 蒸馏框架把离线搜索与在线列表生成解耦,使学生模型在单次贪心解码中直接输出完整 Top-K 排序列表。教师模型先用离线 item 级 beam search 检索高质量候选,再按 beam 分数顺序拼接 Semantic ID(SID)形成列表级蒸馏目标。论文将列表式模型劣于 beam search 归因于搜索空间更小与稀缺正样本的位置偏置两点。

来源:AGI Hunt · agihunt.info