AREX Feed Article
DeepSeek 称单集群日吞吐 155 万亿 token,按谷时价格每 GPU 小时收入 38 美元
10 月 20 日,DeepSeek 开源了自研推理框架 DeepInfer,并用一篇给出了生产部署数据:单个集群运行 DeepSeek-V4.1-Flash,服务吞吐为 155 万亿 token/天;按谷时价格计算,平均每 GPU 每小时产生 38 美元收入。文章称系统把已处理的上下文缓存保留 72 小时以上以减少重复计算,但没有给出成本、利润率。同一天,DeepSeek 高级研究员陈德利在 X 上就开源与闭源发表强硬表态,称这是一场「决战」。
DeepSeek 的谷价口径与预留冗余
知乎文章的表格脚注写明了口径:实际部署 P:D(Prefill 与 Decode 的部署比例)接近 1:1,不考虑波峰波谷,整体收入是平均每卡每小时 38 美金(按谷价);表格上方另有一句「机器已经预留了一定冗余度,以应对流量的波动」。38 美元因此是谷时价格下的平均收入,且部署时留了应对流量波动的余量。
写到,DeepSeek 没有披露运营成本或利润率。知乎文章列出的三个设计目标(兼容多家芯片、用常见 8 卡机器做 Prefill 与 64~128 卡超节点做 Decode、让 KVCache 长期保留)都是工程口径。
DeepSeek 的 96% 输入命中率与 3FS 存储
同一张表把吞吐拆得更细:Prefill 每卡 60K tps(tokens/s,不含缓存命中),含缓存命中时 1.5M tps;平均输入缓存命中率 96%;平均输入长度 77K token;首 token 延迟平均 400 毫秒、P99 为 1000 毫秒;Decode 每卡 14K tps,吐字速度 230 tps,代码场景 300 tps。按这组数字推算,吞吐的大头很可能来自命中缓存的输入 token,而不是模型新生成的输出。
缓存留得越久,命中率越高。文章称 3FS 集群为 KVCache 提供约 100 PiB 的 SSD,Agent 流量的缓存 TTL(缓存存活时间)为 3 天、Chatbot 为 7 天;若把 Chatbot 的 TTL 缩短到 3 天左右,Chatbot 流量的命中率会下降 0.5~1 个百分点。SWA(滑动窗口注意力)的处理也改了:V4 把 SWA KVCache 落盘、未命中时逐层精确重算,V4.1 改为不落盘,只在缺失时重算最近 128 个 token,DeepSeek 称 Decoder 部分采用这一方法后总 Prefill 计算量接近减半。
Yuchen Jin 与 Zephyr 的毛利率测算
数字公布后, 在 X 上引用了 155 万亿 token 和 38 美元,并给出一个假设:即便按每小时 7 美元租用 B300,毛利率也约为 82%。他同时指出,DeepSeek 没有说明生产集群用的是哪种 GPU。
X 用户 的假设更细:97% 的输入 token 命中缓存、2% 未命中、1% 为输出,GPU 租金按每小时 3~6 美元计,10 亿 token 在谷时对应 11.91 美元收入。据此,毛利率为 87.76%~96.94%,其中谷时 87.76%~93.88%,峰时 93.88%~96.94%。 的 Nathan Lambert 在开放模型通讯里引用了「高达 90%」的第三方估算,并称 DeepInfer 可能是首次有领先实验室公开自己的内部服务栈。
两个估算并不一致,差异写在各自的假设里:租金一个按 7 美元、一个按 3~6 美元;算法也不同,一个直接从每卡收入里扣租金,一个按 token 结构估算成本。共同点是 GPU 成本靠假设,而不是 DeepSeek 的账目;这些测算不能说明它的真实毛利。
陈德利的「两个未来、两种命运」
发出 3 分钟后,DeepSeek 高级研究员陈德利在 X 上引用该帖写道:「开源对闭源。光明对黑暗。这是关乎人类两个未来、两种命运的决战。」他接着写:「他们想打多久,我们就打多久。直到完全胜利。」()
称,这是中美 AI 竞争加剧之际中国业内人士迄今最强硬的措辞之一。陈德利的 X 简介显示他在 DeepSeek 从事深度学习研究,并注明「所有观点仅代表个人」;这段话发在他的个人账号上。
公司帖文的措辞不同。DeepSeek 在帖文里写的是分享生产栈以帮助社区降低算力成本、减少能耗、让 AI 更可负担;知乎文章的重点则是调度、缓存与延迟。
缓存与负载均衡未随仓库发布
官方帖文称 DeepInfer「完全开源」,以 Apache 2.0 许可发布,README 给出的边界更具体:这次发布提供的是离线推理;要组成完整的推理服务,还需要 KV cache 系统、视觉编码器(VE)/Prefill/Decode 分离部署,以及跨数据并行副本的负载均衡,而这三项「不包含在本次发布中」。知乎文章的说法是,KVCache 管理与负载均衡组件和内部基础设施耦合较深,相关代码尚未完整开源。
前面那组生产数字依赖的,正是这部分。96% 的输入命中率离不开 KV cache 系统与缓存调度,长期保留的缓存和 100 PiB 的缓存盘也在这套系统里;下载仓库的人拿到的是算子、并行策略、推测解码和结构化输出等能力,拿不到让 155 万亿 token/天成立的那层基础设施。想用公开代码复现 DeepSeek 的单位经济账,缺的正是这一段。
也涉及这个问题。条目下的早期评论关注两点:这套栈能否让企业私有推理更便宜,以及能否推广到 DeepSeek 之外的模型;一条评论写道:「这大概会让企业私有推理更便宜。不知道能不能推广到服务其他 LLM,而不只是 DeepSeek……应该不会太难。」仓库目前列出的支持模型只有 DeepSeek-V4.1-Flash,硬件只有 NVIDIA SM100 与华为昇腾 950。