word2vec 究竟学到了什么：伯克利提出可闭式求解的学习理论

伯克利 AI 研究团队提出首个可定量预测 word2vec 学习过程的理论，证明在现实训练条件下其学习问题可化简为无权重最小二乘矩阵分解，梯度流动力学有闭式解，最终学到的表示就是 PCA。该理论给出特征向量的显式公式，仅由语料共现统计和超参数决定；从小初始化训练时，word2vec 按离散步骤逐个学习正交线性子空间，每步提升嵌入矩阵的秩并降低损失，理论预测与数值实验高度吻合。