AGI Hunt· Haibo Wang·· 4 小时前AI 评分43
OmniSeek:让全模态大模型学会主动“看与听”检索证据
OmniSeek:让全模态大模型学会主动“看与听”检索证据
AI 导读
OmniSeek 提出智能体框架,让 Omni-LLM 从被动处理整段音视频转为多轮主动推理,动态决定何时看、何时听及观察哪个时间窗口,并跨模态检索关键证据。它用数据引擎合成 OmniTraj-170K 多跳思维链轨迹冷启动,并用两阶段可验证奖励强化学习优化策略。Audio-Visual Necessity 目标奖励真正依赖双模态的成功轨迹、抑制单模态捷径,在多项基准提升音视频推理表现。
来源:AGI Hunt · agihunt.info