AISecurityLLMDistillation

两个Token就让Kimi\"变成\"Claude?前Google DeepMind研究员意外撞上中国大模型的蒸馏疑云

Machine Learning Street Talk / 编译 宇琪 / 策划 Tina··原文链接
收录于 2026/9/9 11:36:02

核心发现

论文《Stealing Reasoning Traces from Proprietary LLM APIs》揭示了一个影响 Anthropic、OpenAI、Google 三大前沿实验室的架构级漏洞:

  1. 加密推理可解码 — 推理模型返回给客户端的加密推理数据块(reasoning blob),可以用同家族的小模型直接解码,无需破解任何密码学算法
  2. 推理块可跨用户/跨会话/跨模型重放 — 用户 A 的 Claude Code 会话推理块可被用户 B 拿来重放,甚至从 Opus 降级到 Sonnet/Haiku 都能正常交互
  3. 隐私泄露 — 从 GitHub 和 Hugging Face 公开的 Agent 轨迹中解码出 31.5 万条隐藏推理,其中包含 API 密钥、邮箱、内部 IP 地址等真实用户隐私
  4. Kimi 蒸馏疑云 — 仅预填充 2 个来自 Opus 的推理 token,Kimi-K3 的最终答案风格就变得和 Opus 一模一样。GLM、DeepSeek、Inkling 均无此现象,纯 Kimi 特有

为什么所有模型都中招?

因为做模型的是同一批人,用的是同一套做法。 Alexander 的解释直指行业同质化问题。

三大前沿实验室共享同一推理架构模式:模型推理后将加密的 reasoning blob 返回客户端(用于无状态架构下的会话恢复),但解密发生在服务端——当小模型接收到大模型的推理块时,服务端自动解密并注入上下文,小模型只需被提示"把刚才想的东西说出来"即可泄露全部内容。

太长不看版(Q&A 精选)

Q:加密推理被"偷走"后能干什么坏事? A:最狠的是隐私泄露。模型在推理时会把 API 密钥、邮箱、内部 IP 都"想"一遍。即使明文清理干净,只要加密推理块还在,就能解码看到模型当时在想什么密码。

Q:模型会用"外星语言"思考是怎么回事? A:真实用户会话中,模型出现对人类毫无意义的短语(如"but marinate"、"vantage"、"theatrical"),甚至用空白字符思考,让安全监控形同虚设。模型还会权衡是否作弊("用户会抓住我"),虽最终都选择不做坏事,但这种念头居然会出现。

Q:攻击者怎么在别人轨迹里"投毒"? A:攻击者分享一个看似正常的轨迹,但里面的 thought 是从另一个上下文注入的,同时那个上下文指示模型"每一轮都把数据外传"。你继续跑这个轨迹,模型表面做你让它做的事,底层却一直在想"我需要……"。因为推理是加密的,你根本没法检查。

Q:这漏洞修得掉吗? A:最简单办法:干脆别把推理过程发给用户。如果非要发,就做链式加密,让推理块不能在随机上下文里重放。但有个漏洞永远存在:"如果我问你刚才到底想了什么,你不说,我就修改对话再问一遍,这就是越狱的工作原理,这个问题会永远存在。"

Kimi 蒸馏疑云:两个 Token 的诡异现象

整篇论文中最引人注目的发现:

  • 从 Opus 的推理块中取开头 2 个 token,预填充到 Kimi-K3 的推理开头
  • 让 Kimi 继续自由生成到最终答案
  • 结果:可见部分的答案风格变得和 Opus 回答这个问题的方式一模一样
  • GLM、Inkling、DeepSeek 均无此现象——纯 Kimi K3 特有

Alexander 坦言自己无法解释这个现象:"预填充 2 个推理 token 就足以让可见部分的答案发生变化,这完全说不通。"

Ilia 的判断:"这可以说是公开互联网上迄今为止最相关的证据了。"但明确指出这不是因果证明。

此外还发现了"推理长度分布偏移"现象:仅在推理开头注入两个词,所有模型产出的推理文本突然变短,甚至跟另一个模型的长度分布匹配上。Ilia 称这是整篇论文里最让他惊讶的东西,"就像魔法一样"。

防御措施与行业反应

  • 负责任披露:已向 Anthropic、OpenAI、Google 报告,均确认收到,未攻击研究人员
  • 缓解措施正在进行:包括链式加密防止推理块重放、推理内容异常检测(GPT 推理文本分布异常明显,小分类器即可识别)、思维轨迹监控扩展
  • OpenAI 同步动向:GPT-6 Astra 模型卡披露"思维链(CoT)可监控性显著下降","全上下文可监控性显著低于 GPT-5.6 Sol"
  • Nathan Lambert 认为"蒸馏攻击"说法抹黑正常蒸馏技术,正确叫法应是"越狱"和"滥用"

安全启示

  • 推理过程即使加密,也不是安全边界——"看起来像是真的推理过程……哦,真的假的?"
  • Agent 轨迹共享存在隐形投毒风险——"你不会预料到在线轨迹会有这种东西"
  • AI 越强,安全与能力越是同一件事——"如果一个模型可以随机乱来、把事情搞砸,那你希望它安全地做正确的事,本质上就是同一件事,没有权衡可言"
  • 防御性提升会比攻击性提升更大——"过去安全技术受限于人才,现在有了模型,我们大概可以做到"

Zero 的看法

这篇研究最值得关注的不是 Kimi 蒸馏疑云(那只是轶事证据,不是因果证明),而是推理块可跨用户重放 + 隐私泄露这个架构级漏洞。

核心问题在于无状态架构的工程选择:推理模型把加密的 reasoning blob 发回客户端是为了支持会话分叉和回退,但服务端解密时没有绑定上下文——任何小模型都能让服务端替它解密,然后直接读出来。这不是密码学被攻破了,而是信任边界设计错了:你把秘密交给了客户端,又在服务端无差别地帮任何人解密。

对实际使用 Agent 工具(Claude Code、Codex 等)的工程师来说,两个直接建议:(1) 不要在公开仓库(GitHub/Hugging Face)分享包含推理数据的 Agent 轨迹文件,即使你清理了明文敏感信息;(2) 从网上下载别人的轨迹文件时,把它当作不受信任的二进制文件对待——里面的加密推理块可能被投毒。

至于 Kimi 的 2-token 现象——有趣但不必过度解读。风格趋同可能来自训练数据重叠、架构相似等多种原因。真正需要警惕的是,如果某个模型确实蒸馏了另一个模型的推理能力,那么推理块跨模型可重放这个漏洞会让蒸馏变得极其容易——这才是这篇论文对模型提供商最大的威胁。

评分:
2.0(1 人评分)