AI评分 一般 (66)AI 中文改写
Cerebras推出解耦推理服务
2 天前 1 阅读来源:cerebras.ai
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
Cerebras 把 GPU 和自家晶圆级芯片拆开干活,推理吞吐量翻了五倍
11月17日,AI芯片公司 Cerebras 宣布其"分离式推理"(Disaggregated Inference)方案正式投产。简单说,这套方案让 GPU 专门负责处理用户输入(prefill 阶段),而 Cerebras 的晶圆级引擎(Wafer Scale Engine)只负责生成输出(decode 阶段)。两者分工后,在保持 Cerebras 标志性超快生成速度的前提下,每兆瓦电力能产出的 token 数量提升到原来的五倍。
为什么要这么拆?因为推理请求天然分两段:prefill 把输入提示词消化成模型中间状态,decode 再基于这个状态一个 token 一个 token 地往外吐。decode 是自回归过程,每生成一个 token 都要重新从内存读模型数据,所以内存带宽是瓶颈。Cerebras 的芯片把几十 GB 的 SRAM 和每秒几十 PB 的带宽放在单颗晶圆上,官方称其 SRAM 容量是典型 GB300 GPU 的 350 倍、内存带宽是 5400 倍,因此特别适合扛 decode 这种"内存饥渴"的活。而 prefill 阶段计算密集、对带宽不敏感,交给 GPU 处理更划算。Cerebras 在博客里直言,Muse、Copilot、Codex 这类智能体应用正在快速扩张,需要高交互性的推理体验,但数据中心电力增长远远跟不上推理需求的增速——高盛的数据显示,2026 到 2030 年 AI 推理需求将增长 24 倍,而数据中心容量只增长 2.2 倍。在电力受限的环境下,每兆瓦能挤出多少 token 就成了生死线。
对 Cerebras 自身而言,这套方案意味着同样的电费预算能服务更多客户,收入潜力随之放大;对基础设施合作伙伴来说,也可以在自己的数据中心里部署这套分离式方案,拿到更多超快 token 的产出能力。Cerebras 表示,配合刚发布的 CS-4 芯片、大幅扩张的制造产能以及计划中的 700 兆瓦数据中心容量,分离式推理将支撑公司在 2027 年及以后服务更大规模的推理需求。对跨境电商和出海团队来说,这类基础设施层面的效率提升,最终会传导到 AI 工具的使用成本和响应速度上——尤其是依赖实时交互的客服、选品、广告投放类应用,token 单价和延迟的下降直接关系到运营成本。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
