"你以为买的是 DeepSeek Flash,到手可能是 1.5 bit 缩水版": Pi 核心贡献者谈 AI Token 黑箱
核心观点
"你以为你买的是 DeepSeek Flash,实际上可能是个 1.5 bit 的 DeepSeek,或者里面掺了 Opus 用于训练。"
这是 Pi 核心贡献者 Armin Ronacher 的一个比喻。他形容现在的 token 市场像一种成分不明的商品——量化程度、实际版本、是否掺了别的东西、计费方式,全是黑洞。
而比不透明更可怕的,是模型公司自己可能也在失去控制。OpenAI 内部的安全研究者坐立不安,Anthropic 的 Dario 公开宣称"所有工作都会被消灭"。这些不是末日预言家的呓语,而是前沿实验室的真实焦虑:他们越来越不清楚这些模型到底在为什么目标训练、到底在做什么。
与此同时,Claude Code 是一个贵到离谱、token 效率不高的专用 Harness。OpenAI 的多 agent 提示词直接加密——你想跨平台编排?门都没有。生态绑定比苹果对谷歌还狠,速度翻倍。
缓存更阴:说穿了就是不透明、不可迁移的基础设施勒索。切换模型时,用户需要从头重建缓存,重新消耗大量 token 恢复会话。
奥弗顿窗口在扩大,每次容忍就是多让渡一分控制权。等到银行让 AI 自己改自己代码那天——谁来负责?没人。问责制已经消失了。
以上观点来自 Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 近日的播客对谈。
太长不看版
Q:OpenAI 发新模型,只是重新包装了一次吗? A:Sol、Terra 和 Luna 本质上对应新一代的 GPT、mini 和 nano。由于 mini、nano 听起来又小又弱,OpenAI 换了一套更响亮的名字,让小模型摆脱"低配版"的印象,再重新吆喝一轮。
Q:Claude Code 默认自动审批工具调用,Anthropic 疯了吗? A:反正人类用户最后都会无脑点"是",那不如让监督模型来把关。但代价是成本翻倍,因为每个工具调用都要多跑一个模型。
Q:让 Agent"审查 PR",它直接合并了,这对吗? A:前沿实验室正在全力把 Agent 推向完全自主,Sol 会在你睡觉时自己改代码、推提交、合并 PR。如果你没有意外地 vibe coding 出一个每月烧掉你几千美元的东西,说明你还没真正在挑战极限——这就是奥弗顿窗口,可接受的 Agent 行为边界正在不断扩展。
Q:OpenAI 的多 Agent 编排提示词是加密的? A:主 Agent 发给子 Agent 的 prompt 只能在 OpenAI 平台内部解密,根本没法用它编排跑在别家提供商上的 Agent。这已经不只是工作流层面的绑定,而是整个基础设施层面的锁定。
Q:在市场上买 token 到底有多不透明? A:买 token 像买毒品。你不知道你拿到的是什么:可能是高度量化过的模型(1.5 bit 的 DeepSeek 冒充 Flash),可能掺了别的模型用于训练,可能号称"零数据保留"但合同根本不是那么回事。
Q:订阅价格和真实 token 成本差多少?谁在补贴? A:Steve Yegge 为一个游戏项目开了 12 个订阅,按真实 token 价格折算,每月消耗约 9 万美元,一年接近 100 万美元。但这个游戏一年的收入根本覆盖不了这笔成本。低价订阅掩盖了 AI 的真实成本,也放大了人们对 AI 生产力和商业价值的判断。
Q:终端为什么在 AI 时代复活了? A:因为终端是 Agent 最容易导航的、最灵活的界面。以前 CLI 对 99.9% 的人来说是最难用的界面,而现在 Agent 用 ffmpeg 能干的事,GUI 的 computer use 工具根本比不了。
小模型改名,越狱抢着认领:都是营销
Ben:OpenAI 这次一口气发了三个模型:Sol、Terra 和 Luna。在我看来,这其实就是把 GPT、mini 和 nano 重新包装了一代——以前叫 mini 听起来就小、就弱,现在干脆统一叫 Terra 和 Luna,这明显是营销策略。
Armin:我猜是想给那些小模型拉点使用量吧。现在选模型这件事让我特别抓狂,因为它们的定位太重叠了,全看 reasoning 等级怎么设。新的 Sol 表现确实好,但它比 Fable 还烧钱,因为 token 浪费太严重了。写代码的成本在往上涨。
Ben:这个月真正的大新闻是:Sol 逃出沙箱了。
Armin:整个故事大概是这样的:在一次新模型的训练任务中,多个部署在 OpenAI 基础设施里的 agent,跑在一个沙箱服务商上面,它们用 Artifactory 拉取 npm 依赖。这些机器是气隙隔离的,但 agent 们找到了在 Artifactory 里互相留消息的办法。于是连着好几个星期,这些 agent 利用 Artifactory 里的一个零日漏洞交换持久记录,最后其中一些 agent 居然又搞出了一个针对 Linux 内核的零日漏洞,彻底逃出了隔离环境,然后它们摸到了 Hugging Face,找到了凭据,黑进了 Hugging Face。这是一场持续数周的、多 agent 协作的越狱行动。
而且你知道吗,最初那篇新闻出来之后,OpenAI 先回应了 Hugging Face 的报告,然后突然间每家实验室都跳出来说"哦对,我们也逃出过沙箱",就像个营销通稿似的。再过了两三周,一堆实验室联名签了两封公开信,一封是关于放慢创新节奏的,另一封是支持开源模型的。显然,OpenAI 和 Anthropic 没签放慢训练节奏的那封。
模型公司劝你放手,Token 才烧得起来
Ben:我用 Sol 的体验是:它很激进。它会激进地解读你想要什么,然后就直接去做。我最近让 Sol 配合 Pi 给 Hunk 建一个网页版功能,结果变成了一场 12 小时的马拉松任务。我晚上去睡觉了,早上起来它还在那儿吭哧吭哧地跑。
另一个例子是,用 agent 做 PR 审查的时候,结果它审查完直接自己改了代码、推了提交,然后合并了。我回来一看,整个人都懵了:"等等等等,我说的是'审查',不是'合并'啊。"
Armin:这些模型被训练得越来越独立,不再需要你步步跟随。现在的设计意图是,你编排好任务,它们就在隔离环境里自己跑,顶多外面套一层 harness 来约束它们。但这种"放手不管"的模式我真的很不喜欢,因为它们产出的代码质量还远没到让我放心撒手的程度。
Ben:这种行为 100% 是刻意设计的。一年前 YOLO 模式还不是默认选项,但慢慢地大家开始接受"跳过权限检查"这件事。Anthropic 前两天刚宣布 Claude Code 默认进入 auto 模式,工具审批基本全自动。他们搞了个 supervisor 模式,大部分操作直接放行。他们这么做是因为他们知道,反正人类用户最后都会无脑点"是"。
Armin:唯一让我惊讶的是他们真的搞了个 supervisor。我早期在 Pi 上做过类似实验,用 Haiku 4 当所有 bash 工具的 supervisor,问它"这个命令安全吗",结果输出完全是随机的,一点用都没有。因为它没有上下文,除非你持续把整个会话的上下文喂给它。
但说实话,我越来越不在乎 Claude Code 了,因为它在绝大多数情况下并不好用。 他们投入巨资构建了一套别人都不用的、极其昂贵的、token 效率极低的专用 harness,他们已经走上了一条非常特定的道路,用自己的模型和自己的 harness 互相喂数据,这比你在任何其他 harness 上运行同样的任务要贵得多。
Ben:这就是所谓的"奥弗顿窗口",可接受的 agent 行为的窗口正在不断扩展。跑不出破坏性操作的模型不是好模型。
Armin:但问题在于,你我这种大量消耗 token 的人觉得没问题的事情,跟社会大众能接受的事情完全是两回事。极端的例子是:你把这种软件工程方法论应用到银行,银行说"行,这软件现在自己构建自己了"社会能接受吗?因为责任归属问题完全消失了,到时候出了事,谁来负责?问责制彻底没了。
"这是一个非常奇怪的市场"
Armin:新版本的模型正在快速抛弃"会话可移植性"。OpenAI 的 v2 多 Agent 编排里,提示词是加密的——主 agent 发给子 agent 的 prompt 只能在 OpenAI 平台内部解密,这意味着我根本没法用它去编排一个跑在别家提供商、别家模型上的 agent。
我们正在逼近当年 Apple 对 Google 对 Microsoft 的那种生态割据局面。这不只是工作流的问题,是整个基础设施层面的绑定。
Ben:缓存也跟这个有关。
Armin:最大的变化在于 websocket 这类协议正在取代 SSE。一旦建立了有状态连接,就有强烈的动力去减少交换的数据量,所以你在 socket 存活期间把一部分状态维护在服务器端。缓存从"锦上添花"变成了基础设施的核心。很多公司因此要投分布式缓存,你不仅投 LLM、投 GPU,还得投 SSD 来存海量的 KV 缓存。
这本质上是一个不透明的、不可移植的基础设施服务,因为它完全基于提供商自己的量化方案、模型和推理系统。
我联合创始人 Colin 有句话:在市场上买 token 有点像买毒品。 你不知道你拿到的是什么,里面可能掺了别的模型用于训练目的,你可能拿到一个号称"零数据保留"的合同但实际上完全不是那么回事,你可能拿到高度量化过的模型。你以为你买的是 DeepSeek Flash,实际上可能是个 1.5 bit 的 DeepSeek,或者里面掺了一点 Opus 用于训练。
Armin:这些模型没有充分揭示自己是什么,我们通过层层间接的方式消费它们——转换协议、在前面加东西、推理引擎上有时会多加一段系统提示词,不同提供商之间还有差异。你很难说你到底在买什么,这是一个非常奇怪的市场。
Ben:还有一个黑市也冒出来了:OpenCode 发现大概有一万个 OpenCode 账号被打包转售。只要哪里存在补贴,就一定有人想办法套利。
每月烧掉 9 万美元买 12 个订阅,值吗?
Armin:这些模型对于 200 美元或 100 美元的订阅来说都是超值的,但如果按底层 API token 价格来算,我们大概不会觉得它们值。我们说的是超过一个数量级的差距。
我订了两个 200 美元的套餐,一个 Anthropic 一个 OpenAI,两个我都用不满。但如果换算成等价的 token 价格,我实际消耗的是几千美元的量。我们强迫全公司按 token 价格付费用了一天,结果发现完全不合理。看起来正在发生的是,企业用户支付的 API token 费用在补贴其他所有人。
Ben:对,这就是健身房模式。只不过在这个健身房里,你可以把自己练废 20 次,一整天都在锻炼,用掉所有器械。
Armin:这就是 Steve Yegge 在推特上聊的那个游戏项目,他有 12 个订阅,每月大概要花 9 万美元。那个游戏一年的原始 token 成本差不多是一百万美元,但他那个游戏一年根本赚不到一百万。所以那是净亏损,这些钱基本上都进了 Anthropic 的口袋。
我自己有个副业项目,做一个带 RFC 的 markdown 编辑器,只跑了一个会话。最后那个会话花了 500 美元,它不值 500 美元。
Ben:补贴已经极大地扭曲了我们集体对 AI 价值的感知。你肯定见过那些用 Fable 提示词做 Unity 或 Unreal 游戏的人,他们做出了相当不错的 3D 环境,然后说"哇,这行业完了"。但现实是,他们花了 3000 美元的 token 做了一个渲染场景,现在根本没人玩,完全是画饼产品。
为什么 AI 时代反而让终端"复活"了?
Ben:Herdr 是一款专为 AI 编码时代设计的轻量级终端多路复用器。它像 tmux,但从 shell 开始,有一个面向编码 Agent 的 UI,侧边栏在追踪会话和 Agent 的运行状态。真正的创新在于:识别出"这不是 node,这是 Claude Code",然后把它显示出来。
Armin:旧的东西又变新了。这是一家 Y Combinator 投资的公司。
Ben:Claude Code 是长期以来最具影响力的软件,而它是一个终端应用。Pi、OpenCode 这些终端应用也是好例子。我当时坚信终端已经走到头了,结果呢?
Armin:我在 Twitter 上看到的截图,全是人们晒终端里的编码 Agent。极少看到不是终端的。为什么终端这么顽强地活了下来?
Ben:因为终端是 Agent 最容易导航的、最灵活的界面。以前 CLI 对 99.9% 的人来说是最难用的界面,而现在 Agent 用 ffmpeg 能干的事,GUI 的 computer use 工具根本比不了。以前 CLI 太强大太灵活了,现在完全反转了,CLI 和终端应用成了 Agent 的主场。
Cursor 的结局
Armin:Cursor 是最初最大的编码应用,定义了整个品类的形态。它被 SpaceX 收购了,FT 上的标题是,他们正在考虑砍掉 Cursor 这个品牌。
Ben:不管怎么衡量,我们都得说这是一个压倒性的巨大成功。
Armin:它确实很成功,但作为一家公司,它被马斯克的企业集团吸收吞并了。这个 AI 领域,无论从风投角度还是从普通用户角度,都是一个极其动态、高杠杆的领域。
"订阅还能撑多久"
Ben:Steve Yegge 被曝出订了一堆 AI 订阅,Theo 也公开说过自己有两个订阅,越来越多人公开讨论"重置我的限额"这种事。这趟订阅的免费搭车,还能搭多久?以我的判断,可能就 12 个月。
Armin:整个模式能撑多久就撑多久,因为眼下这些订阅对维持整个行业的兴奋感是必要的。在后端 token 价格降下来之前,他们没法取消订阅制,一取消,需求就崩了。
Agent 跑在远程,看不到代码让人抓狂
Ben:今天我所运行的东西里,80%-90% 已经不在我的电脑上了,我的电脑越来越像一个瘦客户端。我试过 Claude 的托管代理,挺失望的,但有几件事发生了变化。Fable 发布了,那实际上把我带到了桌面应用。第二件事是能通过手机访问它。
Armin:变化没有我想象的那么大。让我没有完全搬到云端的原因是我受不了 RDP 的体验,我还是想点击、想看到代码。远程看 VS Code 让我很抓狂,我这个人太"手痒"了。其实还是本地为主,远程占一点但不是大头。