Sakana AI 提出 Continuous Memory Machine 双记忆机制

Sakana AI 有一篇关于循环模型记忆的论文，很有意思。

循环模型擅长状态跟踪，但通常把所有信息都存在同一个隐藏向量里，因此短期计算和长期存储在争夺同一份空间。

连续记忆机（Continuous Memory Machine）为模型提供了两个记忆矩阵：一个短期记忆跟踪近期的神经元活动，另一个长期记忆存储供后续步骤使用的信息。Transformer 在每一步都会对两者进行读写。

该工作建立在 Sakana 的连续思考机（Continuous Thought Machine）之上，在复制、联想回忆、排序、少样本回归和迷宫求解等任务上超越了 LSTM、DNC、RMC 和 CTM 基线。它还能泛化到比早期记忆增强网络更长的输入。

注意力图显示，模型在算法类和上下文内任务中会使用长期记忆，而在任务不需要时则会跳过它。

论文：academy.dair.ai/papers/conti…