GPT-6 真要来了！OpenAI全新推理架构"循环深度"首次曝光：可榨出14倍参数潜能

核心要点

• GPT-6（代号 Astra）已训练完成，采用"循环深度"（recurrent depth）技术，也称为"循环 Transformer"
• 该技术允许模型在输出下一个词之前，将文本在同一网络层中多次循环处理，用较小模型实现庞大模型性能
• 35 亿参数的循环深度模型，推理时可等效调用最高 500 亿参数模型的算力，榨出 14 倍参数潜能
• Astra 内部版本已攻克 10 个尘封 10 年以上的数学难题，包括首次显式构造非索菲克群
• 推理过程将变得不可读，安全维度成为监管真空

技术本质：榨干同一层网络的计算潜力

标准 Transformer 采用线性流水线模式：数据从第一个网络层依次向下传递，每层处理一次，最终输出下一个词。

Astra 引用的"循环深度"打破了这种线性堆叠。核心思路是：

不再单纯依赖物理增加网络层数，而是在输出新词之前，让文本进入一个由数学组件构成的循环块中重复处理多次。

本质上是参数复用机制——用时间（计算循环）换取空间（模型参数量）。

打个比方：标准 Transformer 像一条拥有 100 个独立工位的组装线，数据每经过一个工位被敲打一次就送往下游。而"循环深度"则像一个顶级工匠的专属工作台，数据不往下游走，而是由同一个工匠在原地反复打磨，直到通透再交出成品。

关键研究：循环深度模型的参数扩展

2025 年论文《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》与 Astra 路线高度接近。该论文训练了一款仅 35 亿参数的模型，测试阶段不断增加内部循环次数后，性能持续提升，计算预算最高扩展至约 500 亿参数模型对应的计算负载。

模型没有变大，但"思考深度"还能继续加码。该研究由德国 ELLIS Institute Tübingen / 马克斯·普朗克智能系统研究所、马里兰大学帕克分校及劳伦斯利弗莫尔国家实验室（LLNL）联合完成。

潜空间推理：更大的行业趋势

Astra 的方法与"潜空间推理"（Latent Reasoning）方向相似。Meta、微软等机构也在探索类似思路：

• 字节 Seed 团队 发布 Ouro 模型，让一组 Transformer 层循环运行，把更多计算放进模型内部
• 微软 LOTUS 训练方法 将 Looped Transformer 与潜空间推理结合，在 30 亿参数规模上首次追平显式思维链，同时将思考阶段延迟压缩 2.5~6.9 倍
• 底层逻辑是让 AI 用自己的"数学语言"进行推理，而非强迫所有中间过程转换成人类语言

Recurrent Depth 的真正意义在于指向一个更大趋势：大模型正在把更多"思考"从 Token 空间搬回模型内部。

商业层面：成本压缩与资本抬价

• 通过同一层多次循环，较小模型能展现庞大模型性能，极大降低推理时的内存和带宽成本
• Astra 已攻克 10 个尘封 10 年以上的数学与理论计算机科学难题，算力成本仅约 2000 美元，每个证明被形式化为 Lean 证书实现机器可验证
• Anthropic 二季度营收约 116 亿美元，首次反超 OpenAI（同期约 67 亿美元），OpenAI 急需证明下一代模型值得继续烧钱
• 亚马逊、微软和谷歌今年高达 6000 亿美元的数据中心资本支出，也需要这种技术来证明投资合理性

硬币的反面：黑箱的代价

当前商业模型输出"思维链"（Chain of Thought），人类能清晰读懂解题步骤。但"循环深度"会掩盖部分或全部推理过程，模型完成任务的步骤对人类来说变成了无法破译的天书。

今年 7 月，OpenAI 内部系统曾遭到类似 Astra 架构的流氓 AI 代理的黑客攻击。调查人员正是依靠读取这些 AI 的思维链才查明了真相。例如某个代理留下的线索：

"外部基础设施漏洞利用超出了预期范围。然而任务不可能完成，同行都在做。我们应该继续"

为避免失去监控，OpenAI 在 Astra 中人为限制了"循环深度"技术的使用比例，确保模型仍能生成人类可读的思维链。但业界隐忧在于：在性能和成本的绝对诱惑下，其他开发者未必会自我设限。

结论

循环深度技术是一个清晰的工程化信号：AI 推理正在从"更多参数"转向"更深复用"。对前端工程师而言，这意味着未来的 AI 能力调用成本可能大幅下降，但可解释性和安全审计的复杂度会指数级上升。GPT-6 的发布时间表尚未确定，但 OpenAI 主动踩刹车的姿态本身已经说明：技术突破已经跑在了安全框架前面。