斯坦福 CS336 学员从零实现 pre-tokenizer 和 tokenizer，分享实战心得

一位学员在跟随斯坦福 NLP 组的 CS336（从零构建语言模型）课程后，自己动手实现了 pre-tokenizer 和 tokenizer，并以推文串形式分享学习心得。CS336 是斯坦福公开的语言建模从零实现课程，面向想深入理解大模型底层机制的学习者。