arXiv cs.CL· Veronika Solopova, Ivan Havlytskyi, Viktoria Skorik, Ostap Vykhopen·· 3 小时前AI 评分37
GeopoliticalQA：面向情报报告的检索与生成基准
GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports
AI 导读
GeopoliticalQA 基准推出，覆盖 415 份开源地缘政治与战略情报报告，含 5,525 个文档级问答对，分为事实、推理、比较与风险四类问题。评估 15 个检索系统和 6 个开源 LLM 发现，chunk 级检索质量与嵌入模型规模无关，中型开源编码器 bge-m3 可匹敌大一个数量级的模型并超过商业嵌入 API。
来源：arXiv cs.CL · arxiv.org