AGI Hunt· Mir Tafseer Nayeem·· 7 小时前AI 评分30
CineSubBench:用 1012 部电影字幕考 LLM 长叙事与文化理解
CineSubBench:用 1012 部电影字幕考 LLM 长叙事与文化理解
AI 导读
新基准 CineSubBench 用 1012 部电影、6 种语言的 813 万条带时间戳字幕,评估 LLM 的长上下文叙事与文化理解。它设 7 项任务,覆盖叙事重建与抽象、类型预测、年龄适宜性及 10 国分级体系。对九个 LLM 的评测显示,情节梗概还原比完整事件概要更可靠,跨语言一致性因模型与语言差异显著,强脏话远比轻度粗俗语更易识别。
来源:AGI Hunt · agihunt.info