arXiv cs.CL· Mingyu Lu, Timothy Ossowski, Tristan Naumann, Hoifung Poon, Peniel Argaw·· 4 小时前AI 评分35
HERO：利用执行证据做程序生成的测试时精炼与提示词优化
HERO: Harnessing Evidence for Test-time Refinement and Prompt Optimization in Program Generation
AI 导读
HERO 将离线与测试时 harness 优化结合用于程序生成：离线阶段从执行验证的成功与失败中学习可复用的提示词更新，测试时把生成代码当作实例级 harness 用执行反馈精炼。在 SQL、Cypher、Python 四个基准上，HERO 取得最佳离线表现，pass@1 较初始提示词提升 7.6 分，测试时精炼再加 2.0 分并改善执行效率。
来源：arXiv cs.CL · arxiv.org