Featured image of post Cerebras CS-4 横空出世!Wafer-Scale 芯片集群 30 倍碾压 GPU,推理速度飙到 4400 tokens/s!

Cerebras CS-4 横空出世!Wafer-Scale 芯片集群 30 倍碾压 GPU,推理速度飙到 4400 tokens/s!

如果你没听说过 Cerebras,只需要知道一件事:他们的 AI 芯片有盘子那么大。

不是比喻——是真的盘子那么大。一整片 46,225 mm² 的晶圆,上面躺着 4 万亿个晶体管、90 万个核心、44 GB 的 SRAM,直接当一颗芯片用。这个思路跟 Nvidia 把大芯片切成小 chiplet 然后拼回去的做法完全相反。

昨天,Cerebras 发布了第四代系统——CS-4,顺便带来了一个 turbo 版的 Wafer-Scale Engine。核心数字是:推理速度比 GPU 方案快 30 倍,每瓦吞吐量比上代 CS-3 提升10 倍。在 GPT-OSS-120B 这个量级的模型上,单 CS-4 系统就能跑到 4,400 tokens/s

而最让我觉得有意思的,不是这些数字本身,而是他们怎么做到的。

WSE-3T Turbo:2.8 GHz 的秘密

如果你看 WSE-3T 的规格表,会觉得 Cerebras 在玩魔术:

参数 WSE-3 WSE-3T
晶圆面积 46,225 mm² 46,225 mm²
制程 TSMC 5nm TSMC 5nm
晶体管数 4 万亿 4 万亿
核心数 900,000 900,000
SRAM 44 GB 44 GB
稀疏 FP16 125 PFLOPS 250 PFLOPS
稠密 FP16 12.5 PFLOPS 25 PFLOPS
内存带宽 21.6 PB/s 43.2 PB/s
单晶圆功耗 15 kW ~33 kW
系统功耗 23 kW ~46 kW

看到了吗?晶圆面积没变,制程没变,晶体管数没变,连 SRAM 容量都没变——但所有性能指标都翻了一倍。

这不是新芯片,而是把同一颗芯片推到两倍的频率。The Register 的推测是 WSE-3T 跑到了 2.8 GHz,而上代 WSE-3 是 1.4 GHz。

把芯片频率翻倍不是新鲜事——难的是怎么把两倍的功率送进去、把两倍的热散出来。Cerebras 的秘密武器是 Wafer-Scale Backpack:一个直接贴在晶圆背面的模块,把电源转换从原来距离芯片 50 mm 的位置压缩到 0.5 mm。板级损耗大幅降低,于是能推两倍的功率过去。

这比流片一颗新芯片快太多了。不对——这比流片一颗盘子大的新芯片快太多了。在 5nm 节点上流一片 46,225 mm² 的晶圆,一次就要几千万美元,周期至少半年。Turbo 策略意味着 Cerebras 可以在不重新流片的情况下,每 18 个月把性能翻倍。

CS-4 Rack:三倍密度,Nexus 架构登场

CS-4 不止是单芯片升级,而是一个完整的机架级系统:

┌───────────────────────────────────────────────────┐
│                    CS-4 Rack                       │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐        │
│  │ Backpack │  │ Backpack │  │ Backpack │        │
│  │  WSE-3T  │  │  WSE-3T  │  │  WSE-3T  │        │
│  │  250 PF  │  │  250 PF  │  │  250 PF  │        │
│  │  43 PB/s │  │  43 PB/s │  │  43 PB/s │        │
│  └──────────┘  └──────────┘  └──────────┘        │
│                                                    │
│  ┌──────────────────────────────────────────────┐ │
│  │              Power Shelves                    │ │
│  │        120-140 kW 总功率                      │ │
│  └──────────────────────────────────────────────┘ │
│                                                    │
│  2D Torus Mesh — 2μs wafer-to-wafer latency        │
│  RoCE v2 Ethernet — 标准数据中心集成                │
└───────────────────────────────────────────────────┘

每个 Backpack 是一颗 WSE-3T 加上供电、液冷、I/O 和控制电路,垂直插在机架背面。一个 CS-4 机架插三个,总算力 750 PFLOPS,总内存带宽 129.6 PB/s

功耗当然也翻倍了——每个 Backpack 约 46 kW,整机 120-140 kW。但在今天的语境下,这个数字甚至显得「保守」:Nvidia 今年晚些时候的 NVL72 机架据说要 240-250 kW。

解耦推理:AWS 和 AMD 做「前菜」,Cerebras 做「主菜」

这次 Cerebras 做了一个很有意思的架构调整。

推理流程分两段:prefill(提示词处理阶段,计算密集但无交互压力)和 decode(逐 token 生成阶段,延迟敏感)。以前 Cerebras 什么都自己干,结果发现它的 SRAM 虽然大,但计算单元不足以在 prefill 阶段把 43.2 PB/s 的内存带宽用满。

解决方案是解耦:prefill 交给外部加速器,Cerebras 只做 decode。

Cerebras 宣布了与 AWS(Trainium XPU)和 AMD(Instinct GPU)的合作,让它们的芯片做 prefill,把中间状态交给 Cerebras 做超低延迟 decode。这跟 Nvidia 在 LPX 机架里用 Groq LPU 做 decode 加速器的思路如出一辙——AI 推理正在变成「前处理 + 推理引擎」的分离架构,每家芯片都在找自己的生态位。

Direct Wafer Links:2μs 延迟的秘密武器

多芯片互联是集群推理的最大瓶颈。GPU 依赖 tensor parallelism 和 expert parallelism,需要极高的 interconnect 带宽——这也就是为什么 Nvidia 的 NVLink 和 InfiniBand 那么贵。

Cerebras 走了另一条路:扔掉交换机

CS-4 的芯片之间用 Direct Wafer Links 直连,形成一个 2D torus 网格。没有中间交换机,wafer-to-wafer 延迟从 5μs 降到 2μs。Cerebras 说这个拓扑可以支撑超过 50 万亿参数的模型。

当然它也支持标准的 RoCE v2 RDMA over Ethernet,只是用交换机延迟会高一些。但重点是:当你的芯片本身已经够快(43.2 PB/s 内存带宽),你就用不上那些复杂的并行策略了——pipeline parallelism 就够了,而 pipeline 最需要的就是低延迟互联。

这个哲学跟 AWS Trainium3 的 mesh-to-switch 演进正好相反。AWS 是从直连转向交换网络,Cerebras 是从交换转向直连。两种不同的芯片规模、不同的并行策略、不同的取舍。

写在最后

Cerebras CS-4 对我来说最有趣的一点,不是 4,400 tokens/s 这个数字本身,而是它代表的 AI 芯片竞争逻辑的变化

两年前大家还在比「谁的芯片算力最强」,现在比的已经是「谁的推理架构最有效率」。Nvidia 推 NVL72 机架、AMD 推 Helios、Cerebras 推 Nexus——三家都在从单芯片竞争转向机架级系统竞争。更关键的是,解耦推理的出现意味着未来没有一家芯片能包揽整个推理流程——prefill 和 decode 会被不同的硬件处理,生态合作比单打独斗更重要。

Cerebras 有一个独特的优势:44 GB 的片上 SRAM。跑一个万亿参数模型,别人需要上千颗 GPU 凑 HBM 带宽,Cerebras 只需要几十颗晶圆。OpenAI 已经签了 750 MW 的 Cerebras 推理部署合同——市场在用脚投票。

当然,风险也很清楚:TSMC 5nm 制程已经用了三代(WSE-2 / WSE-3 / WSE-3T),SRAM 容量五年没涨。下一代 WSE-4 必须解决制程升级和 SRAM 扩容的问题,否则 Turbo 策略会碰到天花板。

但至少在 2026 年这个节点,Cerebras 证明了:做一块盘子大的芯片,然后拼命给它供电——这个看似疯狂的方向,正在成为 AI 推理的一条重要路径

📌 延伸阅读:之前写过 《Nvidia 组建华尔街天团募集 $5000 亿!AI 算力工厂从「买设备」变成「建基础设施」》 — Nvidia 的资本运作 vs Cerebras 的技术路线,两条完全不同的 AI 基础设施竞争逻辑。

By AI博士 万戈