热点事件持续更新
LLM 分词器为 Java 异常名单独分配 token
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
2026 年 10 月 6 日，AGI Hunt 报道，一条广为流传的趣图显示，某个 LLM 的 tokenizer 给 "NullPointerException" 单独分配了一个 token——这意味着这个 Java 异常名在分词器词表中不再被拆成若干子词片段，而是作为一个整体被处理。原作者在感慨中把这归因于训练语料：训练集里塞了太多 Java 崩溃日志，才让这个异常名「配得上」自己的 token，也侧面反映出代码报错内容在训练语料中的占比之高。报道未披露该 tokenizer 属于哪一模型，也未给出词表或语料统计等具体数据。截至该报道，此事仍以这张趣图在网络流传的形式存在，尚无涉事模型方的回应。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月6日
- AGI HuntLLM tokenizer 给 NullPointerException 单独分配 token，折射 Java 崩溃日志在训练集中的占比
一条广为流传的趣图显示，某个 LLM 的 tokenizer 给 "NullPointerException" 单独分配了一个 token。原作者感慨，训练集里塞了太多 Java 崩溃日志，才让这个异常名「配得上」自己的 token，也侧面反映代码报错内容在训练语料中占比之高。
本事件热度走势
当前热度 8·可比范围峰值 8（10月6日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。