AIOpenAIComputerUse

OpenAI高管亲述:我们是怎么在一周内做出Jev竞品的

OpenAI··原文链接
收录于 2026/10/9 09:59:56

InfoQ 编译了 Latent Space《The AI Engineer Podcast》在 OpenAI DevDay 2026(9月29日)直播结束后第一时间录制的两场访谈。第一场对话 Sky 联合创始人、现 OpenAI 计算机操作负责人 Ari Weinstein;第二场对话 API 产品负责人 Nikunj Handa。

DevDay 发布概览

DevDay 发布了什么

  • Dot:个人助理产品,每个 Dot 配一台独立云端 Linux 虚拟机,可跑桌面应用和浏览器
  • GPT-6.1 Sol:成本约为 Astra 的 1/5,专看计算机操作仅 1/7,速度和成本双优
  • Agents API 加入计算机操作能力,开发者可用与 Codex/ChatGPT 相同的实现
  • 应用快照(app shots):按两下 Command,把当前应用上下文(含元数据、无障碍结构、完整文本)带入 Codex/ChatGPT——不是简单截图
  • Mac 原生计算机操作:后台操作应用,用户可继续用电脑做其他事

计算机操作的核心进步:从"启动即卡"到"排错重试"

Ari 认为过去一年最关键的变化是:智能体不再启动后就卡住,而是能排查错误、调整方法、重新尝试。这是质的转变。技术上,模型现在能结合截图、无障碍接口(a11y tree)、DOM 结构和 Playwright 多模态交互,还能自己写 JS 代码一次完成多步操作,而非逐帧点击。模型自身速度提升七倍,GPT-6.1 的成本效益提升甚至超过其基础成本降幅。

瓶颈在哪:分布在模型、推理、运行框架和信息呈现多个环节。随着执行速度加快,等待网站加载等操作本身耗时反而成了显著瓶颈。理想状态是事件驱动,但很多浏览器外事件无法这样处理。

Decisions API:受 Jev 启发,一周出原型

Nikunj 坦承 Decisions API 完全不在开发计划中,是 Jev 推出后用户和内部团队同时施压的结果。关键细节:

  • 没有重训模型,直接复用现有 Luna 权重,零样本方式
  • 对输出施加结构化约束,并行批量处理多个问题
  • 专门优化推理系统,追求最短首次决策返回时间(TTFD)
  • 本质是一个极快的分类和决策层,不进行思考推理
  • 用更小模型,速度快但复杂长周期任务能力稍弱
  • 可与 GPT Live 配合,让语音智能体在需要快速判断时更灵敏

"Jev 一出来,大家都激动得不行……OpenAI 有很强的黑客文化,大家看到有意思的东西就会兴奋起来。"

API 层的工程实践

  • 异步函数调用:工具运行时模型继续推理,不必暂停等待
  • 轮次中途引导:模型推理过程中可注入消息
  • WebSockets 双向通信:从 GPT-5.3 Codex Spark 开始支撑,大幅减少工具通信开销
  • UltraFast:推理团队持续优化效率,Luna 价格降低约 80%
  • 缓存优化:30 分钟缓存命中保证,预览阶段支持 12 小时缓存窗口;缓存读取价格降 25%;支持预热缓存
  • 上下文压缩(compaction):Agents API 内置自动压缩;Responses API 支持服务端阈值自动压缩或 /compact 手动控制

产品视角:开发者应该怎么做

Ari 的建议很务实:先梳理自己日常耗时最多的电脑任务,再把适合的委托给智能体。他自己用计算机操作订配餐,原本两小时的订单 15 分钟完成,用 GPT-6.1 Sol 速度是人工的 8 倍。

安全检查是信任基础:根据任务限制智能体可访问的网站和应用,在付款等可能产生重要后果的操作前必须征求用户同意。

软件开发闭环:智能体可以实际打开并测试自己开发的软件,编写代码与验证结果形成闭环,减少"人接手测试"的环节。


My take:这篇文章的信息密度很高,两个角度互补——Ari 讲的是产品和技术演进,Nikunj 讲的是 API 平台工程。最值得关注的是 Decisions API 的"零样本+结构化输出+并行推理"路线:OpenAI 没有重训模型,而是工程化地复用现有权重,说明这类快速决策能力更多是系统设计问题而非模型能力问题。这对做 Agent 工程的团队是直接信号——分类/路由/决策层不一定需要专用模型,推理系统优化和约束设计的 ROI 可能更高。另外,应用快照(a11y tree 而非截图)的思路值得借鉴:把无障碍技术重新定位为"给 LLM 用的结构化输入",这是前端工程师可以直接迁移的思路。

评分:
暂无(0 人评分)