OpenAI 提出 Sparse Transformer，可建模序列长度提升 30 倍

OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测序列中下一个元素的任务上创下新纪录，可处理文本、图像和声音。它通过对注意力机制做算法改进来提取序列中的模式，可建模的序列长度是此前的 30 倍。