跳到正文
原文
AGI Hunt· generativist·· 10 小时前AI 评分30

LLM tokenizer 给 NullPointerException 单独分配 token,折射 Java 崩溃日志在训练集中的占比

LLM 训练集见太多 Java 崩溃,NullPointerException 混到专属 token

AI 导读

一条广为流传的趣图显示,某个 LLM 的 tokenizer 给 "NullPointerException" 单独分配了一个 token。原作者感慨,训练集里塞了太多 Java 崩溃日志,才让这个异常名「配得上」自己的 token,也侧面反映代码报错内容在训练语料中占比之高。

来源:AGI Hunt · agihunt.info