arXiv cs.CL· Neemias B. da Silva, Martin Lukk, Ali Sutani, Abhishek Moturu, Harris Yang, Daniel Silver, Matt Ratto, Thiago H. Silva·· 4 小时前AI 评分41
Population Fidelity：评估 LLM 的人群代表性
Population Fidelity: Evaluating Population Representativeness in LLMs
AI 导读
研究者提出 Population Fidelity 框架，从群体层面准确度、群体间差异量及其结构三个维度评估 LLM 生成回答的人群代表性。将该框架用于复现 LLM 问卷回答“machine bias”研究及更新模型后发现，代表性不佳既因群体间差异不足，也因差异被归入错误群体；cultural fine-tuning 虽能提升与调查中心的契合度，却不改善群体内差异的代表性。
来源：arXiv cs.CL · arxiv.org