跳到正文
原文
arXiv cs.CL· Yuqi Wu, Deyang Li, Katharine Hibbard, Ron Oswald, David Sinclair, Adegboyega Sapara, Kalutota Kuruwe Arachchige Sajana Indula Samarasinghe, Abhinav Pillai, Reham Shalaby, Riffat Alam, Xin-Min Li, Yanbo Zhang, Jie Chen·· 3 小时前AI 评分46

Schema Coherence Inventory:测量被赋予的信念是否组织语言模型的认知

The Schema Coherence Inventory: Measuring Whether an Assigned Belief Organizes a Language Model's Cognition

AI 导读

Schema Coherence Inventory(SCI)用 96 道强制选择题,测量赋予语言模型的信念是否真正组织其认知,而不只是改变情绪。在 5 个 1.7B–14B 参数基座、107 个条件上的六项验证中,信念适配器均具目标特异性(+17.7 分,30/30 信念单元为正),9 名临床评分者以 79.5% 复现关键信念(随机 16.7%)。

来源:arXiv cs.CL · arxiv.org