跳到正文
原文
AGI Hunt· Mir Tafseer Nayeem·· 7 小时前AI 评分30

CineSubBench:用 1012 部电影字幕考 LLM 长叙事与文化理解

CineSubBench:用 1012 部电影字幕考 LLM 长叙事与文化理解

AI 导读

新基准 CineSubBench 用 1012 部电影、6 种语言的 813 万条带时间戳字幕,评估 LLM 的长上下文叙事与文化理解。它设 7 项任务,覆盖叙事重建与抽象、类型预测、年龄适宜性及 10 国分级体系。对九个 LLM 的评测显示,情节梗概还原比完整事件概要更可靠,跨语言一致性因模型与语言差异显著,强脏话远比轻度粗俗语更易识别。

来源:AGI Hunt · agihunt.info