被热议的 RSI，39 年前就已诞生？现代人工智能之父复盘 RSI 的漫长探索
近期 OpenAI、谷歌团队相继披露 RSI（递归自我改进）项目进展，Anthropic、Sakana AI 等公司纷纷加码，RSI 成为 AI 领域热门话题。OpenAI 首席科学家 Pachocki 指出 RSI 可能成为未来科学发现的核心路径，但呼吁放缓步伐、建立统一安全标准。在这一背景下，被誉为"现代人工智能之父"的 Jürgen Schmidhuber 发布长文，系统回顾了自己研究 RSI 的历程，指出 RSI 的历史远比当下热潮更为久远——可追溯到 1987 年。
RSI 的核心理念
真正的 RSI 意味着用通用编程语言编码初始学习算法（例如编码在循环神经网络 RNN 中），赋予其以任意可计算方式修改自身代码的基本指令，再用递归框架包围这段自指性代码，确保只有"有用的"自我修改才能保留下来。Schmidhuber 强调，元学习远不止于迁移学习或调整超参数，一个优秀的元学习系统能够学会任何东西。
五条主要研究路线
1. 元进化与 PSALMs（1987） 1987 年，Schmidhuber 发表了首批关于遗传编程（GP）的论文之一，并在毕业论文第 2 节将遗传编程方法应用于其自身，实现递归进化出更优的遗传编程方法，包含元层级、元元层级等无限递归，称为"元进化"。第 4 节还提出了用于强化学习的元学习机制 PSALMs（原型式自指关联学习机制），这是基于强化学习的 RSI 的早期形式。该工作将 I. J. Good 1966 年关于"智能爆炸"的非正式推测具体化，但 Good 当时并未提出具体 RSI 算法。
2. 基于自修改策略强化学习的 RSI（1994 至今） 1994 年，Schmidhuber 提出"增量式自我改进"，适用于具有单一生命周期（一次终身试验）的通用强化学习机器。该系统由自修改策略（SMP）驱动——SMP 是可修改的概率分布，能够执行任意计算，且其学习算法本身就是 SMP 的组成部分，即 SMP 不仅能修改自身，还能修改"修改自身的方式"。通过"成功故事算法"（EIRA），SMP 持续提出更优的自我修改算法。即便当时计算成本约为今天的 10 万倍，该方法仍在挑战性实验中取得良好效果。
3. 基于梯度的 RSI 与自指神经网络（1991-1992） 受 Gödel 通用自指形式系统启发，Schmidhuber 构建了"快速权重编程器"（FWP）——输出为其他神经网络程序或权重矩阵的网络，并构建了具有自指能力的 RNN，使其能运行并检查自身的权重变化算法。由于基于实数值权重而非整数，神经网络输出可相对于其程序求导，程序生成器可在程序空间中计算方向寻找更好程序。1992 年的研究中，慢速 RNN 和快速 RNN 是同一网络，每条连接都可由 RNN 自身通过 O(log n) 个特殊输出单元寻址、读取和修改，具备自指性——这就是面向神经网络的递归自我改进。具有线性化自注意力机制的非归一化 Transformer，在形式上等价于 1991 年提出的基于外积的快速权重编程器。
4. 渐近最优的课程学习 RSI——OOPS（2002 至今） 2002 年，Schmidhuber 提出通用且渐近时间最优的课程学习方法 OOPS（最优有序问题求解器），受 Levin 通用搜索算法启发。OOPS 将总搜索时间的一部分用于测试能够以可计算方式复用先前求解程序的程序，若复用已有代码解决新问题比从头开始更快则能发现这一点。实验展示了 OOPS 如何从元学习或元搜索中获得巨大收益——以 RSI 方式寻找更快速的搜索过程。
5. 最优 RSI——Gödel Machine（2003 至今） 第 2 节的自指式 RSI 系统通过统计证据证明自我改进的合理性，但不能保证理论最优。这促使 Schmidhuber 提出 Gödel Machine——第一个在数学意义上真正实现最优性、完全自指的通用 RSI 机器。它是一种通用强化学习机器，当找到证明某种自我重写方式有益的证明时，就重写自身代码。Schmidhuber 证明了这种自我重写具有全局最优性——不存在局部最大值，因为代码必须先证明继续搜索替代方案并无益处。Gödel Machine 受到 Kurt Gödel 的启发，后者引入了以整数为基础的通用编码语言，构造了著名的自指陈述，揭示了数学与计算的根本性限制。
RSI 与人工好奇心、内在动机
Schmidhuber 于 1990 年提出对抗式人工好奇心原理：一个神经网络（控制器）生成输出，另一个神经网络（世界模型）预测环境反应，两者通过梯度下降形成对抗——世界模型最小化预测误差，生成器最大化该误差。这种机制如今广泛用于强化学习探索和图像生成（GAN 即为其特例）。[AC90] 进一步指出模型网络可预测控制器未来输出，模拟权重变化过程，接近"学习如何学习"。几年后，他将 RSI 强化学习系统与对抗式人工好奇心整合，由两个对抗性策略共同提出实验，互相激励学习新知识。2011 年提出的 PowerPlay 系统利用 OOPS 持续自主发明新目标，逐步成为更通用的问题解决者。
近年研究进展（2020 至今）
- 关联快速权重记忆（FWM）增强 LSTM：Imanol Schlag 等人通过可微分操作维护快速变化权重中的关联信息，在组合式语言推理和元强化学习任务中表现出色。
- MetaGenRL：能元学习适用于与训练环境显著差异的新型强化学习算法，搜索描述学习算法的低复杂度损失函数空间。
- VS-ML（可变共享元学习）：将权重共享与稀疏性结合到 RSI RNN 中，使学习算法可用少量参数编码，甚至能学习实现反向传播算法，完全通过 RNN 端到端可微分前向动力学实现。
- SRWM（自指权重矩阵）：2022 年 ICML 论文，建立在 1992 年 SRWM 基础上，原则上能进行元学习甚至元元学习，递归下去即为 RSI。
- 基于 LLM 的 Gödel Machine：近年元学习与 RSI 研究聚焦于受 Gödel 启发的 LLM 方法，如 Sakana AI 的 Darwin-Gödel Machine、Huxley-Gödel Machine 和 Red Queen Gödel Machine。
大语言模型的上下文学习是元学习的特殊形式
近年 LLM 能从用户交互记录中学习而无需改变底层预训练 Transformer 权重，这种上下文学习和测试时训练机制可视为元学习的特殊形式，与 1991 年的非归一化线性 Transformer 和 2001 年的元学习 LSTM 具有相似之处。许多元学习系统实质上是在学习如何编程和操纵快速权重，Transformer 亦然。
完整 RSI 需要可自我改进的硬件
Schmidhuber 最后强调，软件层面的自我改进只是 RSI 的一部分。要实现真正的人工智能，必须将 RSI 与机器和机器人所处的物理世界结合——不能掌握现实世界就不可能实现超级智能（ASI）。他描绘了一条路径：由 AI 控制的通用机器人可学习操作目前由人类操作的各种机器和工具，进而建造、操作和维修生产更多同类机器人的设备，从开采原材料到组装零件、维修工厂，形成不依赖人类操作工的、可自我复制并自我改进的机器文明。他将其称为"终极形式的扩展"。Gödel Machine 已考虑到这一点，而当下真正的风险或许并非超级智能本身，而是少数公司对前沿 AI 技术的权力集中——Sakana AI 的 David Ha 转发文章时如此评论，认为唯一真正保障是建立健康的独立实验室生态系统和强大的开源社区。
参考链接：