AI评分 一般 (67)AI 摘要

英伟达Vera CPU测试显示AI智能体编排性能提升,支持高并发推理

5 小时前 1 阅读来源:36Kr 出海

AI 智能摘要

以下为 AI 对原文的中文摘要,完整内容请点击下方「查看原文」

英伟达近日宣布,其Vera CPU在AI智能体工作负载测试中表现突出。据AI云平台DeepInfra测试,Vera CPU相比其他产品,可实现最高2.2倍的编排速度提升,并支持最高1.6倍更多的智能体并发运行。DeepInfra平台每周处理近5万亿Token,其中约30%来自智能体应用。英伟达指出,随着AI智能体承担更多推理、规划和工具调用任务,CPU在模型调用过程中的调度效率将成为影响AI基础设施性能的关键因素。

以上为 AI 生成摘要,完整内容及图片请访问原文

查看原文 · 36Kr 出海

内容版权归原作者及 36Kr 出海 所有

这篇文章对你有帮助吗?
觉得有用?分享给更多人

留言 · 0

暂无留言,来说两句吧

留言经合规过滤后展示,禁止违法内容