word2vec 究竟学到了什么？

word2vec 的学习过程被证明在实际条件下可约简为无权重最小二乘矩阵分解，最终表示等价于 PCA。从接近零初始化训练时，它按离散步骤依次学习正交线性子空间，每步提升嵌入矩阵秩并阶梯式降低损失。这些特征可闭式算作矩阵 M* 的前几个特征向量，按 Wikipedia 统计前几项对应名人传记、政府市政与地理制图等概念。