Lambda借助英伟达光子技术提升AI工厂韧性与效率
16 小时前 1 阅读来源:blogs.nvidia.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
云计算服务商Lambda正在用英伟达的光子学共封装光学(CPO)交换机,把超过1万块GPU组成的GB300 NVL72机架连接起来,在超大规模AI工厂中实现更低功耗、更高稳定性和更长的平均无中断运行时间。按照Lambda云服务总裁Dave Ward的说法,网络必须跟上AI集群规模不断膨胀的需求,把共封装光学引入这种量级的部署,是支撑下一代AI基础设施的关键一步。测试数据显示,这套交换机的网络延迟在机架规模下降低约4%,在更大规模的pod层面最多降低约10%,同时在机架、可扩展单元和pod等不同配置下,吞吐量与传统可插拔光模块持平。
这件事的背景在于,网络已经成为AI工厂生产力的中枢。训练一个大模型时,成千上万块GPU需要协同工作,一条链路中断就可能让数千块GPU停摆;在智能体推理场景中,一次网络故障还会在多个智能体之间引发连锁延迟。换句话说,网络每中断一次都是时间损失,网络每多耗一瓦电,算力就少一瓦。英伟达光子学的做法是把可插拔光收发模块替换为封装在交换机上的共封装光学引擎,官方称能效最高提升5倍、可靠性最高提升15倍,激光器用量减少4倍,意味着可能出故障的部件也更少。
在Lambda的实际部署中,每台交换机有144个800Gb/s端口,采用液冷把热量从交换芯片和光学引擎带走。公司报告的光学器件温度中位数为36摄氏度,而传统可插拔光模块为51摄氏度,信号完整性也更稳定。另一个关键设计是每台交换机配有18个可拆卸的外部光源模块,为光学引擎供光;光学引擎与芯片同封装,把电信号转换成光信号,通过光纤在集群各部分之间传输数据。技术人员可以在现场直接更换光源模块,而传统可插拔光模块一旦激光器损坏就得整体更换。共封装还把电信号路径从英寸级缩短到毫米级,减少信号损耗,并省去了重定时器芯片,既降低功耗也减少了信号链路上的部件数量。对正在扩张GPU集群的出海AI基础设施团队来说,这类网络层面的能效和可维护性改进,直接关系到大规模训练任务的连续性和电费账单。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
