跳到正文
原文
arXiv cs.AI· Kiant\'e Fernandez, Caitlin Chen, Jialu Zhou, Bartek Sadowski, Anthony C. Miceli, Ian Krajbich·· 2 小时前AI 评分45

CogArena:在交互式行为实验中评测多模态智能体

CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments

AI 导读

CogArena 基准涵盖社会与行为科学十个实验范式,多模态智能体需通过标准网页浏览器、使用与在线被试相同的视觉刺激与响应界面完成任务,并按是否完成、准确度和行为特征三级评分。四个多模态模型每项任务各跑十次,结果显示完成实验与复现行为特征并不等同:不少会话未完成,完成的会话对部分特征稳定复现、对另一些则完全不能。

来源:arXiv cs.AI · arxiv.org