OpenAI 研究：深度学习中 CNN、ResNet 与 Transformer 的双重下降现象

OpenAI 发现双重下降现象同样出现在 CNN、ResNet 和 Transformer 中：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化加以规避，但研究者尚不完全理解其成因，认为值得进一步研究。