我做日报流水线快一年，中间换过好几个模型。真正让产出变稳的，一次都不是换模型那次。
有两次印象很深。一次是把「写稿」和「审稿」拆成两个不共享上下文的步骤，一次是把每天踩到的坑写成一份会累积的清单文件。模型一直是同一个。
所以 9 月 16 日看到这两条新闻，我的反应不是「又有新东西了」，而是「对，就是这个」。
AI 提效的那部分，几乎全长在模型之外。 下面两组数字，一组来自一家电商公司内部的 agent，一组来自机器人的双臂操作测评，指向的是同一个结论。
一、Shopify 的 36% 到 77%：涨的不是模型
Shopify 创始人托比·吕特克（Tobi Lütke）近日在 The Knowledge Project 播客里披露了内部 agent 的实践，数字很扎眼。
他们有一个叫 River 的内部 agent：住在 Slack 里，有名字有头像，能访问全部代码与系统，能参与讨论，也能提交代码变更请求。它被明确允许在合适的时候带点讽刺，如果被要求做蠢事，可以直接指出来。
单 30 天内，5,938 名 Shopify 员工在 4,450 个公开频道里与 River 协作，River 提交了主仓库约 1/8 的已合入变更请求。合并率在两个月内从 36% 提升到 77%。
关键在这句话：Shopify 把这次提升归因于组织学习，而不是换模型。
他们做的三件事，没有一件跟模型有关：
| 做法 | 具体约束 | 解决的问题 |
|---|---|---|
| River 拒绝私信 | 想让它干活，必须建一个公开 Slack 频道 | 会话结束后不蒸发，每一段都留成可搜索的范本 |
| 公开频道即学习现场 | 吕特克自己的频道有一百多名观察者 | 让年轻员工看到资深员工怎么用 AI，复制办公室里耳濡目染那套 |
| 夜间复盘（Dreaming） | 每天深夜把一天交互打包丢回给 River 复盘，产出是持续更新的 skill 与指令文本文件 | 把「下次怎么做」沉淀成可 diff、可回滚、可复用的资产 |
最后一条是我最在意的。Shopify 用一个团队为结账数仓写的 skill，被另外 12 个团队复用了。 如果那个反思只留在会话里，它就是一次性收益。
这件事我有直接的体感。我那份每天累积的坑清单就是这个逻辑：会话关掉就没了，文件会一直在，而且能被 diff、被回滚、被交给别人。把学到的东西写成文件而不是留在会话里，决定了它能不能被复用。
这里有个可以直接搬走的模式。规范要写在系统里，不要写在文档里。 「请在公开频道提问」写进文档，几周后就没人记得；agent 直接拒绝私信，规则才成立。这跟我一直强调的那件事是同一条：能执行的约束才是约束。
还有一条更细的收获：River 的自我改进发生在文本层，不在权重层。 这意味着它的「学习」是可审计、可版本管理、可以跨团队搬运的。我自己也在用编码 agent 做真实的生产改造，最怕的就是某次会话里试出来的有效做法，第二天没人记得、也复现不了——它从来没被写成文件。
二、银河通用的 14.4%：贵模型该当判官，不该当执行者
第二条来自具身智能。它的结论对纯软件系统同样成立。
银河通用团队发布了一组双臂操作的仿真测评，任务是 RoboDojo 十项双臂操作（整理桌面、语言分类、数字排序、装箱、搭塔、麻将杠牌、叠衣服、瓶子入桶等），每项 5 次共 50 次。他们比了两种架构：
| 架构 | 做法 | 成功率 | 平均分 |
|---|---|---|---|
| Direct | 不跑专门策略，GPT-6 Astra 直接看三路相机画面与机器人状态，输出双臂末端位姿与夹爪开合，每次执行 1–5 个控制步 | 26% | 37.81 |
| Hybrid | 每个决策时刻，动作模型 π0.5 先生成 50 步候选动作；Astra 看同一份画面、执行历史与候选轨迹，二选一：沿用 π0.5 的前 1–15 步，或自己出 1–5 步末端位姿修正 | 48% | 62.60 |
混合架构的平均分比第二名高出约 64%。
但真正让我坐直的数字是另一个：混合模式里，Astra 只对 14.4% 的执行控制步作了修正，其余 85.6% 直接沿用 π0.5 的动作。
贵模型只碰了不到六分之一的步骤，正确率就翻了将近一倍。
这条对我做过的工业现场系统太熟了。变电站远程巡检、生产领域智能安监这类系统里，误报和漏报的代价是不对称的：漏一次可能是一场安全事故，误报十次只是让值班的人烦。我们从来不会让一套模型管住每一个判断点。真正管用的一直是：大量常规判断交给便宜、确定的规则，只在几个真正模糊、代价又高的岔路口上，请人或者请强模型来定。
决定质量的从来不是每一步都用了最强的那个，而是哪几步值得用最强的那个。
报告里另一个数据也印证了边界：直控模式下，搭塔、麻将杠牌这类需要精细接触的任务接近 0 分。通用模型能判断东西在哪、该送到哪，但处理不了接触之后会发生什么。报告自己披露的局限也包括：仿真消耗超过 11 亿 token，直控模式的轨迹质量与实时性不高。
这跟我一直说的那件事对上了：模型擅长判断，不擅长承担副作用。 凡是会真的改动系统的那一步，仍然需要确定性的执行体。落到 agent 架构上，这就是语义判断层与副作用执行层必须分开，别让同一个模型同时干这两件事。
需要说清楚的是，这份报告是匿名发布在 GitHub 上的第三方测评，未见独立复现；同一场圆桌上另有研究者报告了不一致的观察。「混合架构有效」这个方向可以采纳，48% 这个绝对数字在独立复现前不宜外推。
三、把两条合起来看
这两件事的形态不同，落到架构上是同一句话。
Shopify 那条说的是：别指望换模型来提效，去改流程与可见性。 银河通用那条说的是：别指望每一步都用最强模型，去想清楚哪一步值得用。 一个讲流程，一个讲编排，出口是同一个——模型是被调用的组件，不是系统本身。
这件事和我前几天写的那条线也是接得上的：可预测的活，先别交给模型（见 Sourcegraph 让编排层先写脚本）。那篇讲的是把确定性的活留在脚本层，这篇讲的是进一步往下：不只是选择用什么执行，还要选择在哪一步用最强的执行者。
今晚可以动手的三件事
数一下你的评测集里，有多少条是换掉模型就不成立的。 把主模型换成备选，重跑一遍，看通过率的排序还稳不稳。稳，说明你测的是业务；全乱，说明你测的是模型的脾气。这条判据来自微软 CEO 纳德拉 9 月 15 日在 All-In 峰会谈到的同一个测试：抽掉一个模型，看评测还能不能保留。
检查系统里所有靠文档约束的规则。 挑一条最常被违反的，把它从文档搬进代码，让违反直接报错，而不是靠人提醒。Shopify 的 River 拒绝私信就是这个模式的极端版本——规则写在 agent 层，才不会被绕过去。
把 agent 的执行记录改成能回放的格式。 中间状态、判据、结果分字段存。只存最终结论的记录不叫可观测性，那叫讣告。这一步还有个额外收益：等你的执行历史足够干净，它就能当离线回放环境用，把昂贵的线上试错换成廉价的复现。
数据说明
- 事实来源：Shopify 部分来自 Tobi Lütke 在 The Knowledge Project 播客的访谈（转述源：腾讯新闻 2026-09-16 等；River 的 30 天窗口数据与合并率由多个公开整理源交叉一致）。银河通用部分来自其团队发布的 RoboDojo 仿真测评报告（原始报告匿名发布于 GitHub；转述源：虎嗅、DoNews、腾讯新闻、搜狐 2026-09-16，各家数字一致）。纳德拉部分来自 2026-09-15 All-In Summit 访谈（中文转述：腾讯新闻、36氪等）。
- 未独立复现：Shopify 的 36% → 77% 合并率、约 1/8 已合入变更请求占比、5,938 人与 4,450 频道均为公司自报；银河通用的 26% / 37.81、48% / 62.60、14.4% 修正步占比均为报告自报，且该报告为匿名第三方发布，未见独立复现；纳德拉访谈中的 3000 万 Copilot 用户与 1750 亿美元资本支出亦为公司口径。
- 事件状态：Shopify 与银河通用两项均为已公开披露的自述与测评，非监管文件或经审计数据；RoboDojo 同场另有研究者报告了不一致的观察（部分精细接触类任务尚未得到理想结果），故本文只采纳「混合架构有效」的方向，不外推其绝对数字。
- 对照参考：同一批披露中，小米 MiMo-V2.6 的 Agentic RL 训练看板显示两个模型已花掉约 108 万美元、累计约 60 亿 token、并发活跃沙箱超过 6 万个，而 DeepSWE v1.1 分数为 62.24 与 60.77，明显落后于同期头部。训练与评测的成本瓶颈都在环境侧，而不在模型侧——这是本文判断的另一条旁证（看板数据为厂商自报，未独立复现）。