AGI Hunt· natolambert·· 3 小时前AI 评分48
Gacha Decoding:靠指令遵循+外部随机数提升 LLM 输出多样性,样本效率超此前方法 11 倍
Gacha Decoding:靠指令遵循+外部随机数,样本效率超此前方法 11 倍
AI 导读
Gacha Decoding 是一种提升 LLM 输出多样性的新解码方法,用模型的指令遵循能力加外部随机数生成器(RNG)反复「重roll」,样本效率比此前工作高 11 倍以上。它不依赖 token 熵来产生多样性,适用于数据生成、RL 探索、头脑风暴等需要多样输出的场景。
来源:AGI Hunt · agihunt.info