TorchNeuron：在AWS Trainium上运行HF模型前所未有地简单

Hugging Face 与 PyTorch 团队联合推出 TorchNeuron，为 AWS 自研 AI 芯片 Trainium 提供了原生的 PyTorch 后端。从 2026 年 10 月 20 日起，该插件进入公开测试阶段，开发者可通过 pip install torch-neuronx 直接安装。这意味着 Transformers、Diffusers、Accelerate、PEFT、TRL 等 Hugging Face 核心库无需额外适配层，就能把 Trainium 当作普通加速器使用。 此前，Hugging Face 生态接入 Trainium 和 Inferentia（AWS 分别面向低成本训练和大规模推理设计的 AI 芯片）主要依赖 optimum-neuron 这个中间库。它基于 PyTorch XLA，本质上是让开发者"像编译器一样思考"：惰性张量而非即时执行、只支持静态形状、每次计算图断裂都要重新编译。Optimum Neuron 的存在就是为了掩盖这些复杂性，代价是维护大量自定义代码，包括专门的建模类和训练器。TorchNeuron 改变了这一局面——它直接集成进 PyTorch，把 neuron 暴露为原生设备，支持即时执行、PyTorch 自带的分布式原语（DTensor、FSDP2）以及 torch.compile。对开发者来说，迁移成本大幅降低：同一套类和脚本，换个设备就能跑。 实际收益体现在模型覆盖面上。官方数据显示，在排名前 100 的文本生成模型架构中，TorchNeuron 开箱即支持 89%，而 Optimum Neuron v0.4.5 仅为 46%。使用时只需在代码中传入 device_map=neuron，模型便会自动迁移到 Neuron 设备；配合张量并行（TP）可充分利用整块 Trainium 实例的算力。官方同时建议开启静态缓存（static cache）进行生成，以避免频繁重编译带来的性能损耗。Hugging Face 方面明确表示，今后推荐 Neuron 用户直接使用这些原生库，而不再经由 Optimum Neuron 中转。对于正在评估训练与推理成本的出海团队而言，这意味着 AWS 自研芯片的迁移门槛进一步降低，多了一种绕开英伟达 GPU 供应与价格波动的现实选项。