NVIDIA NeMo与🤗 Diffusers助力大规模视频图像模型微调

NVIDIA与Hugging Face联合宣布，将NVIDIA NeMo Automodel训练框架与Hugging Face的🤗 Diffusers库深度集成，让开发者无需转换模型格式、无需重写代码，就能对任意Diffusers格式的模型进行大规模分布式微调。这一合作直接瞄准了当前AI视频和图像生成模型训练中的核心痛点：模型越来越大（如Wan 2.1的14B参数、FLUX.2-dev的32B参数），单卡训练早已不现实，但分布式训练的门槛又极高，通常需要开发者手动切分模型、管理并行策略，稍有不慎就会出错。 此次集成的关键在于NVIDIA NeMo Automodel这个开源训练库。它原生支持Hugging Face生态，开发者只需指定一个Hugging Face Hub上的模型ID（如"black-forest-labs/FLUX.1-dev"），就能直接开始训练。NeMo Automodel会自动加载Diffusers的模型类（如WanTransformer3DModel）和推理管线（如WanPipeline），训练完成后生成的checkpoint也能无缝回到Diffusers生态中使用。更关键的是，并行策略完全通过配置文件声明，而非代码改写——开发者可以在FSDP2、张量并行、专家并行、上下文并行、流水线并行之间自由切换，从单卡到数百卡只需改一行配置，无需重写模型结构。目前NeMo Automodel支持流匹配（flow matching）类模型，训练时采用潜在空间训练（预编码VAE输出）和多分辨率分桶数据加载来提升吞吐量。 对跨境电商卖家和AI从业者而言，这意味着什么？过去，想微调一个FLUX.1-dev或Wan 2.1这样的开源模型来做商品图生成、视频广告制作，往往需要深厚的分布式训练背景，或者依赖昂贵的托管服务。现在，这套集成方案提供了开箱即用的微调配方，覆盖了当前最主流的开源图像和视频生成模型：包括Wan 2.1（1.3B/14B参数，支持LoRA）、Wan 2.2（27B总参数，14B活跃参数，MoE架构）、FLUX.1-dev（12B参数，支持LoRA）、FLUX.2-dev（32B参数，支持LoRA）、HunyuanVideo 1.5（13B参数，支持LoRA）以及Qwen-Image（20B参数，MMDiT架构，支持LoRA）。以FLUX.1-dev为例，12B的模型在单张40GB A100上就能跑LoRA微调，而14B的Wan 2.1同样可以。对于更大的模型，NeMo Automodel的分布式能力可以平滑扩展到多卡环境。 具体工作流程分为四步：首先预编码数据集（将图像/视频通过VAE编码为潜在表示，大幅减少训练时的计算量）；然后使用NVIDIA提供的现成YAML配置文件启动训练（以FLUX.1-dev为例，配置文件已内置）；训练完成后直接用微调后的checkpoint生成内容；最后通过性能监控工具观察训练效率。整个过程完全开源，采用Apache 2.0协议，代码和文档已发布在Hugging Face的Diffusers训练指南中。NVIDIA还预告了下一步将推出更Pythonic的API接口，进一步降低使用门槛。对于需要批量生成商品图、视频素材的卖家来说，这相当于把原本需要专业ML团队才能完成的模型定制工作，简化到了可以快速上手操作的程度。