OpenAI 研究：AI 训练如何扩展

OpenAI 发现梯度噪声尺度这一简单统计指标可预测神经网络训练在多种任务上的可并行性。由于复杂任务的梯度噪声更大，未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。