AI评分 一般 (67)AI 摘要
英伟达Vera CPU测试显示AI智能体编排性能提升,支持高并发推理
5 小时前 1 阅读来源:36Kr 出海
AI 智能摘要
以下为 AI 对原文的中文摘要,完整内容请点击下方「查看原文」
英伟达近日宣布,其Vera CPU在AI智能体工作负载测试中表现突出。据AI云平台DeepInfra测试,Vera CPU相比其他产品,可实现最高2.2倍的编排速度提升,并支持最高1.6倍更多的智能体并发运行。DeepInfra平台每周处理近5万亿Token,其中约30%来自智能体应用。英伟达指出,随着AI智能体承担更多推理、规划和工具调用任务,CPU在模型调用过程中的调度效率将成为影响AI基础设施性能的关键因素。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
