arXiv cs.CL· Tim Menzner, Jochen L. Leidner·· 2 小时前AI 评分29
Multi-Label Agreement（MLA）：多标签标注者间一致性的灵活评估框架
Multi-Label Agreement: A Flexible Framework for Inter-Annotator Reliability
AI 导读
Multi-Label Agreement（MLA）框架面向多标签标注任务的一致性评估，保留完整二值标签向量，以平均成对 Hamming 一致度计入共同选择与共同遗漏。其 pooled-marginal 形式是各标签 Fleiss/Scott 型系数的机会分歧加权平均，框架支持 Gwet AC1 与固定基线归一化，并提供 Python 实现。
来源：arXiv cs.CL · arxiv.org