AGI Hunt· xiye_nlp·· 4 小时前AI 评分42
VeriSoftBench 发布:仓库级 Lean 4 形式化验证,最强 LLM 仅过 41%
VeriSoftBench 发布:仓库级 Lean4 形式化验证,最强 LLM 仅过 41%
AI 导读
研究者在 COLM 会议上发布 VeriSoftBench,这是首个面向仓库规模 Lean 4 形式化验证的 benchmark,包含来自 23 个开源形式化方法仓库的 500 条证明义务,并保留真实仓库上下文与跨文件依赖。该基准提供 Curated deps 与 Full repo context 两种评测模式,前沿 LLM 表现仍不理想,最佳成绩仅为 41.0% 与 34.8%。
来源:AGI Hunt · agihunt.info