跳到正文
原文
AGI Hunt· WolfShoddy7443·· 4 小时前AI 评分53

安全顾问实测:两家厂商的 AI 护栏对 40 条相同输入给出 11 条相反判定

AI 导读

一位独立安全顾问在客户评审中对同一 agent 分别使用托管与本地两套护栏系统,跑 40 条完全相同的输入,两套系统在 11 条上判定不一致且难分对错。他向两家厂商咨询其余案例的分类标准,得到两套各自自洽但完全矛盾的解答;引入第三套系统做仲裁后,它又在其中 6 条上与前两者都不一致。作者的核心结论是,目前护栏判定不存在公认的真值,业界找不到任何带标注的护栏判定数据集。

来源:AGI Hunt · agihunt.info