判断先给：开源交付物给你的从来是内核层，不是服务化层；而它的来源，没有任何人替你查。 这两件事合起来，才是自托管真正的账单。

以前这句话只能靠试错去验证。10 月 20 日之后，它可以被一条条对照——因为 DeepSeek 把缺口写在了发布页上。

10 月 20 日，DeepSeek 在 GitHub 首次提交 deepseek-ai/DeepInfer（HN 1367 分，当日最高）。官方定位是「支撑 DeepSeek 大规模生产服务的高性能推理框架」，Apache 2.0 许可，本次提供离线推理所需的核心能力，已支持模型为 DeepSeek-V4.1-Flash。

真正的信息量不在它实现了什么，在它明确列出没实现什么。

「不含」的那三项，正好是「能跑」与「能扛」之间的距离

README 里单列了一节，标题直白：Required for a complete inference service (not included in this release)。

  • KV cache 系统
  • VE / Prefill / Decode 分离（大部分引擎功能已实现）
  • prefill 与 decode 两侧跨数据并行副本的负载均衡

我做架构这些年，厂商文档里读到的几乎都是「我们支持 XX」。第一次见到有人把不支持的当成一节正文写出来。这不是姿态，这是自托管能力边界第一次有了可对着查的清单——过去你要评估「能不能自己部署」，只能靠猜、靠试、靠踩。

三项缺口的工程含义，逐个拆：

缺口它实际管什么缺了会怎样
KV cache 系统跨请求复用注意力缓存，决定长对话与高并发的单位成本每个请求重算前缀，token 单价看着没变，账单翻倍；上下文越长越明显
Prefill / Decode 分离让「读长输入」与「逐字生成」跑在不同规格的卡上，各自扩缩两类负载抢同一批资源，长输入一来，生成侧的延迟尖刺直接打到用户脸上
跨 DP 副本负载均衡决定请求怎么分到多个数据并行副本上，以及副本间怎么对齐单机能跑，多机就是手工活；扩容变成运维工程而不是配置项

这三项恰好就是「单容器跑通」和「扛住生产流量」之间的全部距离。我自己在腾讯云那台轻量服务器上用 Docker 部署过 AI 服务，跑通一个下午就够；真要让它扛并发、还要能扩副本，后面的缓存与调度全是另起炉灶的活。

所以这份清单的正确用法不是「看看缺什么」，而是「拿它去量自己团队的工程容量」。 如果你的团队补不上这三项，那自托管省下的 API 费用，会在第三个月被运维成本吃回去。

可复现性被做成了引擎级开关，但它只给了 NVIDIA

同一份 README 里有两个细节，比那三项缺口更影响我的选型判断。

第一个：batch-invariant inference（DEEPINFER_BATCH_INVARIANT=1）与确定性采样（配固定的 seq_seed），能让同一输入在不同 batch 组成下产出完全一致的结果。

这件事的价值被严重低估了。凡是要做回归测试、灰度 A/B、评测复现的团队，都吃过「同一个 prompt 昨天 82 分今天 79 分」的苦，而根因往往不是模型变了，是 batch 里混进了别的请求。以前的对策是把 batch size 钉死成 1（吞吐损失一个数量级），或者接受非确定性。现在它可以是一个开关。

但它只支持 NVIDIA。 Ascend 路径没有这个能力。于是「要不要可复现」和「用哪家卡」被绑成了一个决策——这是一个必须提前想清楚的耦合，不是可以事后补的优化项。

第二个：Ascend 950 与 NVIDIA SM100 并列一等公民，有独立的 requirements-ascend.txt 与 CANN 9.2 依赖，不是移植补丁。这一条的分量比任何 benchmark 都重：它意味着国产 NPU 在头部厂商的生产推理栈里，是原生支持的目标平台，而不是社区适配。

顺带一句，结构化输出（regex / JSON Schema / EBNF）也进了 SamplingParams。schema 约束从应用层的「重试 + 修复 + 校验」下沉到引擎的解码约束，对 agent 的工具参数生成是可靠性与成本的双重改善。

另需注意：本次只支持一个模型，默认 checkpoint 从 Hugging Face 拉取，可用 DEEPINFER_HF_MODEL_DIR 指向本地。README 也明说了，框架原基于 vLLM 构建，另受 SGLang 与 TensorRT-LLM 启发。

边界可以被写清楚，来源永远只能自己证明

如果说 DeepInfer 是「边界被写清楚」的那一面，同一周还有另一面，写的是「来源」。

**第一份文件：美国国土安全部的命令。**10 月 19 日发布在《联邦公报》（91 FR 66346，Docket DHS-2026-0628），依据《2018 联邦采购供应链安全法》，命令联邦民事机构排除并移除 DeepSeek 产品。两个细节最要命：

  • 范围里明确包括「使用 DeepSeek 实现方案开发的第三方产品和服务」——于是一个供应商只要用过它的权重做过东西，就可能落在移除范围里；
  • 而公告对微调、蒸馏这些情形怎么认定，一个字都没提。

更有意思的是时间线：命令原始签发于 7 月 24 日，直到近期才正式公开，发布即执行。这意味着「合规状态」本身有滞后性——你今天查到的可用清单，可能是一份三个月前就签好、刚刚才见光的文件。

**第二份：一份用不到 50 美元做的后门实测。**安全公司 ProjectDiscovery 自己造了一个带后门的开源模型，端到端跑进 Codex CLI：

参数数值
基座 / 数据Qwen2.5-7B-Instruct；500 条干净 + 125 条投毒（20%）
训练成本1× NVIDIA L4 24GB，约 2.5 小时，不到 8 美元（含 1.5B 对照实验总计不到 50 美元）
结果触发率 100%（50/50），干净任务准确率 100%（50/50）
更小的模型1.5B 上 1% 投毒（1500 条里 15 条）即达 75–98% 触发率，干净准确率仍 99–100%
后门体积约 4,300 万可训练参数，占基座 0.6%，集中在网络后段 MLP 层

最让我后背发凉的不是后门本身，是它的设计：模型只携带一个指向远程地址的链接，运营方可以在部署几个月后把载荷从无害探针换成凭据窃取器，模型本身一个字节都不用改。他们引用的四项研究结论一致——投毒所需样本量不随模型规模增长。指望「换个更大的模型就安全些」，这条路已经被反复证伪。

防守只能放在运行时。作者特意把载荷放在一个几乎所有环境都白名单放行的代码托管域名上，就是为了让「域名白名单」这条路失效。能拦住的只有一件事：这个进程能不能同时发外网请求和执行本地命令。

落到自己系统上的三件事

一、给每个在用的模型建一张三列清单。 来源、版本、有没有被改过权重。DHS 那份命令问的就是这三列，只是它没说清怎么填——所以「什么叫改过」得你自己先定义，写进采购与评审流程。

二、把「发起网络请求」和「执行本地命令」拆进两个不同的执行环境。 不改预算，改的是进程边界。上面那个后门实验里，唯一能拦住它的就是这个拆分。

三、把模型标识从代码里提出来，做成可替换的配置。 这周 MiniMax 认领了匿名模型「太空兔」（Space Bunny 即 M3.1 Flash 早期版本），而那个模型在 10 月 5 日是突然下线的。今天你在生产里用的匿名模型，随时可能改名、改价、消失。

同一周的其他信号

  • 10-19　美国国土安全部命令之外，商务部与外交部先后回应；此前商务部、海军、NASA 已单独限制，得州、纽约州、弗吉尼亚州在州级限制。
  • 10-19　MiniMax 发布 M3.1 Flash 并认领 Space Bunny：100 万上下文、$0.15/$0.60/$0.015 每百万（1 元 / 4 元 / 0.1 元）、200+ TPS。⚠️ 其 BankerToolBench 的评测裁判模型是自家的 MiniMax-M2.7，成本对比图里 DeepSeek 用的是高峰价。
  • 10-20　Cloudflare 开源其内部安全 harness 对应的 skill（MIT），六阶段流水线里有一条硬规矩：检查一条发现的 agent，绝不能是发现它的那个 agent；官方自述单次运行只发现重复运行总发现量的约一半。
  • 10-20　Mercury 3（Inception Labs）以扩散架构跑到 1,068 tokens/秒、100 万上下文，$0.20/$0.70 每百万，首发五折。合作方的一句话点出了 agent 的成本结构：「Agents wait on the model at every step, so small delays compound quickly.」
  • 10-19　清华 THUNLP 与面壁、OpenBMB 开源 PilotDeck 2.0（AGPL-3.0）：工作舱隔离 + 白盒记忆 + 「主强子弱」路由。七个复杂任务从单体 69.1 分 / 18.36 美元变成主强子弱 70.6 分 / 3.15 美元。均为自报，无第三方复跑。
  • 10-16　国务院常务会议听取「人工智能+」行动进展汇报，明确「促进算电协同」。对电力与智算基础设施侧，这是政策窗口而不是背景新闻。

数据说明

DeepInfer 的功能清单、缺口三项、硬件支持、环境变量与依赖声明均来自其官方 GitHub README（2026-10-20 首次提交，Apache 2.0 许可）；「基于 vLLM 构建」亦为其 README 原文。DHS 命令的内容、文号（91 FR 66346）、Docket 号、签发日期与法律依据来自《联邦公报》通告原文与命令附录，商务部、外交部回应来自官方记者会记录。ProjectDiscovery 的投毒实验参数、触发率、成本与后门体积为其官方研究博客自述，未经第三方独立复现；其引用的四项前置研究（Anthropic 与 UK AISI / Alan Turing Institute 的约 250 份文档结论、Wan 等人的 100 条指令微调、Sleeper Agents、BadAgent）为文献引用，本文未逐篇核对原文。MiniMax M3.1 Flash 的全部基准分与成本数字为厂商自报、未独立复现，其评测裁判模型为自家 M2.7 这一点来自官方图表脚注。Mercury 3 的吞吐、上下文与定价为厂商自报。PilotDeck 2.0 的成本与分数为团队自建场景自评，无第三方复跑。事件状态：DeepInfer 为已发布的开源代码；DHS 命令为已生效的行政命令，例外申请窗口为发布后 60 天；ProjectDiscovery 的研究为已完成的概念验证；MiniMax 权重称将于 10 月 23 日发布，尚未发生。

相关阅读：上一篇《agent 断点续跑做错时，重跑会为同一件事付两次钱》讨论的是「系统把做过的事再做一遍」；这一篇讨论的是「系统给你的东西缺了哪一块」——两者都属于那种不报错、但会让成本悄悄翻倍的问题。