Score B (67)
英伟达Vera CPU测试显示AI智能体编排性能提升,支持高并发推理
5 小时前2 viewsSource: 36Kr 出海
英伟达近日宣布,其Vera CPU在AI智能体工作负载测试中表现突出。据AI云平台DeepInfra测试,Vera CPU相比其他产品,可实现最高2.2倍的编排速度提升,并支持最高1.6倍更多的智能体并发运行。DeepInfra平台每周处理近5万亿Token,其中约30%来自智能体应用。英伟达指出,随着AI智能体承担更多推理、规划和工具调用任务,CPU在模型调用过程中的调度效率将成为影响AI基础设施性能的关键因素。
Source:
36Kr 出海