AMD收购AI芯片初创公司Taalas，将模型蚀刻进硅片提升推理性能

AMD宣布收购AI芯片初创公司Taalas，这家公司的独特之处在于，它不靠HBM存储模型权重，而是直接把模型“刻”进硅片里。这种被称为MSIC（模型专用集成电路）的方案，在早期测试中跑出了每秒17000 token的惊人速度，比英伟达GPU快了近50倍。AMD此举显然是在AI硬件赛道上向英伟达发起新一轮冲击，意图在高性能推理服务领域抢占制高点。 这笔交易于周四美股收盘后官宣，具体金额未披露，但据知情人士透露，这是一次真正的收购而非“人才并购”。Taalas成立于2023年，总部位于多伦多，其技术路线与英伟达GPU、Groq的LPU或Cerebras的晶圆级加速器截然不同。它的芯片不依赖HBM存储模型权重，而是将权重直接蚀刻进硅片，从物理层面消除了内存带宽瓶颈。今年2月，Taalas发布了首款基于台积电6nm工艺的测试芯片HC1，在运行Meta的Llama 3.1 8B模型时，吞吐量达到每秒16960 token——当时比英伟达GPU快48倍，比Cerebras快8.5倍。虽然Llama 3.1如今已显老旧，但这颗芯片本就是为了验证概念而造。 Taalas对技术细节极为保密，但已知其处理器由两大区域构成：掩模ROM召回织物（存储模型权重）和SRAM召回织物（存储KV缓存和微调适配器）。第二代芯片HC2预计今夏推出，参数规模将提升至200亿。单看数字可能不起眼，但关键在于扩展方式：与GPU类似，大模型权重可通过流水线并行分布到多颗加速器上。按每颗芯片200亿参数计算，支持一个万亿参数模型只需50颗加速器——而AMD恰好拥有机架级计算平台和自研系统设计团队，能轻松容纳这种规模。相比之下，英伟达新发布的LPX系统要服务同样的模型，需要几十颗GPU外加至少2000颗Groq LPU，空间和功耗都远高于AMD方案。 据我们了解，AMD计划将基于Taalas技术的芯片与自家Instinct架构的Helios机架搭配使用，这暗示了一种解耦架构：计算密集的提示词处理由GPU完成，token生成则卸载到Taalas加速器上。另一种可能是AMD采用“嘀嗒”节奏——客户先在Instinct加速器上部署和验证模型，满意后再迁移到Taalas加速器。AMD AI业务高级副总裁Vamsi Boppana在官方声明中表示：“AMD正在构建全栈AI平台，让客户能为每种AI工作负载灵活选择最合适的计算方案。” 不过，这项技术有一个不容忽视的硬伤：一旦芯片部署，你就被“锁死”在某个模型上。任何超出LoRA适配器级别的改动，都意味着芯片要重新流片。对于模型迭代频繁的AI行业来说，这无疑是个巨大限制。但换个角度看，对于代码助手、智能客服这类需要极致推理速度的“高级”推理服务，这种牺牲灵活性换取性能的做法或许正是市场需要的。英伟达去年12月与Groq达成的200亿美元授权协议，本质上也是在做类似的事——让高性能推理服务更快、更便宜。AMD这次收购Taalas，显然是想在同一个战场上拿出自己的答案。