AGI Hunt· generativist·· 10 小时前AI 评分30
LLM tokenizer 给 NullPointerException 单独分配 token,折射 Java 崩溃日志在训练集中的占比
LLM 训练集见太多 Java 崩溃,NullPointerException 混到专属 token
AI 导读
一条广为流传的趣图显示,某个 LLM 的 tokenizer 给 "NullPointerException" 单独分配了一个 token。原作者感慨,训练集里塞了太多 Java 崩溃日志,才让这个异常名「配得上」自己的 token,也侧面反映代码报错内容在训练语料中占比之高。
来源:AGI Hunt · agihunt.info