让 AI 操作电脑，第一件事不是教它看懂屏幕，是别再喂它截图。用结构代替像素，省下的不只是计算量，是 agent 在你桌面上「看得懂、做得到」的确定性。
11-04 腾讯混元 Hy4 把电脑操作做成默认能力，同一周 vercel-labs 开源的 agent-desktop 用操作系统的无障碍树替代截图，把复杂桌面任务的计算量砍掉近九成。两件事合在一起，桌面 agent 的评估基准线被重画了。
截图喂给 AI，贵的不只是图，是它看不懂
把屏幕截图丢给模型，等于强迫它用最贵的方式理解你的电脑。像素不是它的母语，它要先看懂图里哪里是按钮、哪里是输入框，再决定下一步点哪。模型每读一次截图，都要重新理解一遍布局，上下文被反复喂进又丢弃，账单跟着翻。
vercel-labs 刚开源的 agent-desktop 给了我一个很直接的对照：它让 agent 走操作系统的无障碍树读界面，而不是截屏。在复杂的桌面应用上，计算量直接降了将近九成。我每天跑的日报流水线，agent 调一堆工具，计算量是我天天盯着的账。如果哪天要让它操作桌面软件，走截图路线我会肉疼，走结构路线才划算。
| 路线 | 输入给模型的是 | 复杂桌面任务计算量 | 鲁棒性 |
|---|---|---|---|
| 截图 + 视觉 | 像素图片 | 高（反复重读布局） | 受分辨率、主题、遮挡影响 |
| 结构化 UI 树 | 界面元素树 | 低（近九成降幅） | 元素语义稳定 |
==结构化数据优于非结构化像素，这是二十年老架构师的直觉，放到 agent 桌面操作上照样成立。== 截图像素里藏着的，都是模型要猜的未知数。界面结构树把哪里能点、点了会怎样直接给它，猜的环节越少，翻车的概率越低。
国产模型把电脑操作做成标配，权限边界要重画
腾讯 11-04 发的混元 Hy4，把电脑操作的能力做进了默认项：结合命令行和图形界面执行复杂任务，还顺带带了视觉理解。国产旗舰开始卷能操作你的电脑，这件事本身在改我的评估基准线。
==电脑操作成为国产旗舰标配，评估桌面 agent 的尺子要重画。== 但我要泼一盆冷水。截图路线在国产模型上同样贵，界面结构树路线也得同步跟上。更关键的是权限：agent 能操作桌面之后，它能看到什么窗口、能点哪个按钮、能读哪段文字，边界比截图时代更细，也更危险。
==让 agent 碰你的电脑，第一步不是教它干活，是画一条最小权限线。== 出网和方法限制写在工具层，而不是等它做错了再补救。这条从十月一路沉淀下来的判断，到电脑操作这儿更硬了（参见 别信它会守规矩，把规矩焊进结构）。
我早年做变电站远程智能巡检的后端，第一件事不是写代码，是定规矩：业务层里不许出现框架的上下文对象。原因不是那个对象危险，而是不该出现的依赖一旦允许，就再也收不回来。桌面 agent 的权限线，是同一个老道理。
现在可以动手的三件事
第一，查一遍你的 agent 操作桌面走的是截图还是结构树。还走截图的，把改用结构化界面树列进待办，先在 Electron 这类应用上小范围试，别一上来就全量。
第二，给电脑操作划一条最小权限线：只授权它明确需要的窗口和字段，出网与方法限制在工具层写死，凭据和代码不出这台机器。更现实的做法是先在测试环境划一小块桌面权限灰度，量清楚它到底点了什么、读了什么，再谈全量铺开。
第三，把 agent 操作桌面的计算量加进你的成本看板，跟 API 单价、缓存命中率，还有那句老公式——单价乘输出量乘重试次数乘缓存命中率——放一起算总账。账算不清楚，你永远不知道哪一步最该优化。
==信任面每外移一步，最后都要落到工具层的一行配置上。== 我们给 agent 加能力、铺入口的时候，别忘了把规矩焊进结构。
数据说明
- 腾讯混元 Hy4（11-04 发布，770B MoE、视觉理解、电脑操作，权重近期开源）：能力描述来自厂商发布，未独立复现；权重尚未开源，「开源在即」仅为官方口径。
- vercel-labs/agent-desktop 的「复杂 Electron 应用上计算量降低 78–96%」为项目 README 自述，未独立复现。
- 「Astra 读写权重改进 Qwen」爆帖（11-01~11-04）遭 honnibal.dev 与 seangoedecke 逐条反驳，定性为方法论陷阱，非事实定论。
- Gemini / OpenAI 被指默认用聊天与代码训练（11-03~11-04）为 HN 社区报告，未获官方确认，作治理警示而非事实定论。