Cloudflare 用前沿 AI 模型自测 WAF,49 项发现转化为新的检测规则
Cloudflare 让前沿大语言模型充当攻击者,针对授权客户的预发布环境发起 1,107 次攻击尝试,覆盖 XSS、SQLi、CMDi、SSRF、路径遍历和 Log4j 六类攻击,绝大多数请求被其 WAF 拦截。
Cloudflare 让前沿大语言模型充当攻击者,针对授权客户的预发布环境发起 1,107 次攻击尝试,覆盖 XSS、SQLi、CMDi、SSRF、路径遍历和 Log4j 六类攻击,绝大多数请求被其 WAF 拦截。
OpenAI 发布 MentalHealthBench,一个由专家参与制定的基准,用于评估 AI 在真实心理健康对话场景中回复是否有帮助且安全。该基准覆盖现实的mental health对话,兼顾有用性与安全性两个维度。
GPT-6 Astra 帮助 Parallel 的智能体将劳动力市场数据的调研与综合时间及成本各削减一半,对比对象为此前使用的模型。
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中,Qwen3-VL 吞吐量最高达 GB300 NVL72 的 3.7 倍。GB300 NVL72 凭 288 个 GPU 跨四机架实现 99% 扩展效率;v6.1 提交的软件优化较 v6.0 最高提升 1.6 倍性能。
Legora 使用 GPT-6 Astra 在数分钟内审查了 41 份文档,并找出全部 4 处植入错误。在这一财务审查工作流中,其性能提升近 40%。
Google Research 提出知识画像(knowledge profiling)框架和包含 2,150 条 Wikipedia 事实的 WikiProfile 基准,用于区分 LLM 的事实编码失败与召回失败。
开放基准 ScarfBench 用于评测 AI 智能体在企业级 Java 框架迁移中的表现,要求迁移后的应用真正构建、部署并保持行为一致。它覆盖 Spring、Jakarta EE、Quarkus 三大生态,含 34 个应用、204 个迁移任务与 1,331 个专家编写的测试。
Google Research 提出推理优先的合成数据框架 Simula,不依赖种子数据,可从第一性原理构建完整数据集。该框架用全局多样化、局部多样化、复杂化与双 critic 质量校验四步控制生成。
Google Research 的“Forest vs Tree”研究指出,AI 评测常用的每项 1–5 名标注者标准不足,往往需要超过 10 名标注者。基于 Toxicity 等数据集的模拟显示,最优配比取决于指标:多数投票准确率偏向增加条目,捕捉意见分布则需增加标注者;约 1,000 条总标注即可实现高可复现性,模拟器已在 GitHub 开源。