CS224n 第一课纵览 NLP 四个时代：规则、统计到规模化

CS224n 学员总结第一周课程，把 NLP 演进概括为四个时代：规则方法输给统计、统计又输给规模化，印证了 Sutton 的 Bitter Lesson。课后重读 Shannon 1948 年信息论经典，认为噪声信道模型至今仍是机器翻译的底层思想，配图是 1954 年 Georgetown-IBM 机器翻译实验的老报道和 Shannon 噪声信道示意图。