Jev 迎来中国挑战者：StartLux 登顶决策模型榜单，还学会了"拿不准再想

什么是决策模型

与生成文本回答的大语言模型不同，决策模型接收当前状态和候选选项，直接给出各选项的概率，供 Agent 或其他程序决定下一步行动——典型场景是任务路由、工具调用、权限判断这类高频低延迟决策。Jev 的走红让这类模型进入开发者视野，StartLux 是这个赛道出现的中国挑战者。

榜单成绩：领先，但不完全来自推理能力

10 月 16 日更新的 HF Decision Index 0.3.2：27B Instant 综合 69.12 分位列 174 个参评条目第一，公开基准（72.88）、同类能力私有测试（64.82）、新领域私有测试（61.41）三部分均第一
团队自测 DI 0.3：AutoThink 73.37 分 vs Jev 托管版 57.96 分，相对领先约 27%
但拆开看：同为 27B 的 Instant 版本（不做显式推理）在 DI 0.3 公开子集就有 72.83 分，与 AutoThink 仅差 0.54 分——StartLux 与 Jev 的差距并不完全来自新增的推理能力，基础判断路线已经领先
小模型同样压制同规模对手：0.8B~~27B 五个规模的 Instant 均超过参评同规模最强第三方决策模型 7.4~~16.9 分，2B Instant（59.14）已略高于 Jev 托管版
推理效率：单张 H200、vLLM、单并发条件下，0.8B~~27B Instant 单次请求中位延迟约 25~~52 毫秒

AutoThink：先快判，拿不准再想

输入状态、问题和候选选项后，模型先算初始概率：最高概率达到阈值就直接返回；没达到才生成推理过程、再次计算，最后融合两次结果（默认推理后 75% 权重 + 初始 25%）
阈值可调（当前服务默认 0.6，论文主要成绩用 0.9）。一组关键对照：27B AutoThink 阈值从 0.9 降到 0.6，DI 0.3 得分仅降 0.37（73.22→72.85），但 DecisionPivot 成对准确率从 88.1% 暴跌至 68.4%——少推理对综合分数影响小，对需要识别复杂条件的任务伤害大
DecisionPivot 核心任务实测（7800 样本）：39% 直接回答（准确率 96%），61% 进入推理（准确率从初始 57% 升至融合后 93%）；推理纠正了 1783 个初始错误，同时引入 94 个新错误
机制的固有局限：触发条件依赖模型自己的初始置信度，如果模型一开始就对错误答案有较高置信度，仍会直接跳过推理——按需推理不能从机制上消除过度自信

DecisionPivot：模型能否抓住关键条件的变化

团队自建的新基准，13 类程序生成任务、7800 样本，覆盖权限判断、调度冲突、工具调用有效性、目标状态验证。采用成对准确率：两道题只差一个关键条件、正确答案分别为"是"和"否"，模型必须两题全对该组才得分——用于识别模型是否只是倾向某个固定答案。结果上 Instant 与 AutoThink 差距明显拉大（27B：75.4% vs 86.9%，+11.5pp）；对照组 Jev 托管版仅 31.0%，GLM-5.3 低推理强度 82.2%。题目生成器、独立求解器、评分程序和数据哈希均已公开，可复核。

RLCD²：给推理装长度预算

强化学习方法（Reinforcement Learning for Calibrated Deliberative Decisions），位于训练流程最后阶段（SFT 建立基础判断 → 推理监督样本教 AutoThink 生成并结束推理 → RL 优化推理质量和长度）：

不单纯奖励答对，而是用冻结的参数副本做评分者，比较推理前后的选项概率，衡量推理带来的改善，并对超过软长度预算的推理施加惩罚
效果（2986 留出样本、每题强制推理）：9B 正常结束推理比例 45.9%→93.9%，平均推理长度 2494→868 token（-65%），准确率 80.38%→80.48% 几乎不变。主要收益是效率而非准确率
完全关闭推理 vs 按需推理：9B DecisionPivot 22.3%→59.9%（平均每题 +1365 token），27B 48.0%→86.9%（平均仅 +304 token）。27B 用更少推理 token 拿到更高准确率——token 数量本身不代表能力

概率校准：筛选会改变置信度的含义

最贴近工程落地的发现：9B 模型独立回答时，置信度 80%90% 区间实际正确率 92%；但从 32 个候选中挑最高分后，同一置信区间正确率降至 78%。底层模型没变，经过筛选/路由后置信度与实际正确率的关系就变了——如果你沿用"置信度超 90% 即自动执行"的规则，可能错误估计了筛选结果的可靠性。团队的对策是策略感知校准：让带标签样本经过实际采用的筛选和路由流程，再拟合新的概率映射（考虑候选数量、平均分等因素），无需改模型参数。184 组设置下校准后偏差落在 -2.7+2.1pp，但应用到未见过的数据集时仍出现最高 6.1pp 过度自信。

开源与许可证

模型权重和推理代码已公开（github.com/StartLuxLabs/StartLux-Decision、DecisionPivot，HF 有模型合集，论文 arXiv:2610.1730），支持 vLLM、llama.cpp、MLX，提供量化版本。注意许可证：推理代码 Apache 2.0，模型权重 CC BY-NC 4.0，仅允许非商业使用，商用需另行授权。演示包括国际象棋（初代 27B 对 Jev 1.13 第 19 回合将杀）、星际争霸 II 战胜内置 Hard AI、火箭发射连续视觉决策、洪灾救援跟踪等。

Zero 的看法

对做 Agent 系统的人，这篇最有价值的不是"中国模型登顶榜单"，而是三个可迁移的工程结论：其一，静态榜单分数会高估推理的价值——Instant 与 AutoThink 在 DI 综合分差 0.54，在条件敏感的 DecisionPivot 上差 11.5pp，是否值得为推理付费完全取决于你的任务里"关键条件变化"的密度，拿自己业务里的条件翻转case测一遍比看榜单有用；其二，阈值不能按榜单成绩调——0.9→0.6 综合分只掉 0.37 但关键任务崩了 20pp，这是典型的"指标好看、线上翻车"陷阱；其三，best-of-N 筛选后置信度语义会漂移（92%→78%），任何"置信度超 X 就自动执行"的 Agent 规则都应该在实际路由流程里重新校准，而不是沿用单发回答的阈值。泼点冷水：DecisionPivot 是团队自建基准，在自家基准上遥遥领先是基本功而非惊喜；CC BY-NC 权重许可决定了它现阶段只是研究样品，不能直接进生产；文中延迟数据来自单并发 H200，真实负载下的尾延迟和成本还是未知数。