SkyPilot实现零出站存储，AI工作负载可跨云运行并存储至Hugging Face

HuggingFace与SkyPilot联手推出零出站流量存储方案：AI工作负载可跨云运行，数据存储于Hub 7月7日，HuggingFace与云编排平台SkyPilot联合发布了一项重要更新：用户现在可以直接在SkyPilot任务中挂载HuggingFace Bucket或任意Hub仓库，实现“数据存于Hub、计算跑在任何云上”的零出站流量存储方案。这意味着，AI团队不再需要为跨云读取数据支付高昂的传输费用，也无需在多个云厂商间复制模型和数据集。 这一合作的核心背景是，当前AI开发中普遍存在一个痛点：模型和数据集通常存储在某一个云厂商的某个区域存储桶中，而可用的GPU资源（无论是用于开发、训练还是推理）却越来越多地分布在不同的云上。当数据与计算分离时，用户每次读取数据到GPU都需要支付跨云数据传输费用，即“出站流量税”。HuggingFace与SkyPilot的联合方案彻底解决了这一问题——HuggingFace Storage不收取任何出站流量或CDN费用，因此无论SkyPilot将任务调度到哪个云厂商的GPU集群，读取数据都完全免费。 具体实现上，用户只需在SkyPilot任务配置中使用一个`hf://` URL和已有的`HF_TOKEN`，即可通过MOUNT或COPY模式挂载HuggingFace Bucket（读写）或任意模型/数据集/Space仓库（只读）。SkyPilot支持20多个云平台、Kubernetes、Slurm以及本地环境，能够自动寻找可用的GPU资源。这意味着，同一个任务可以在不同云厂商的预留或按需GPU上运行，而数据始终从同一个HuggingFace存储桶中读取，无需为每个云单独复制数据。 这一方案对AI团队的实际影响非常显著。首先，它消除了跨云数据传输的成本和复杂性。以往，团队为了在不同云上训练模型，往往需要手动复制数据集到每个云的存储桶中，不仅耗时，还会产生大量出站流量费用。现在，数据只需存储在HuggingFace Hub上，计算资源可以灵活选择任何云厂商的GPU，成本大幅降低。其次，MOUNT模式基于HuggingFace的hf-mount FUSE后端，采用惰性读取机制——代码发出`read()`请求时，只从Xet后端拉取实际需要的字节，而非整个文件。这意味着GPU可以几乎立即开始工作，在数据流式传输的同时进行训练，而不是等待整个数据集下载完成后再启动，显著减少了GPU空闲时间。对于首次训练（第一轮epoch）尤其有利，因为此时本地缓存尚未建立。 此外，HuggingFace Bucket基于Xet技术构建，支持增量去重。训练过程中产生的检查点（checkpoints）和模型变体只会存储和传输实际变化的数据块，进一步节省存储和带宽成本。对于中国跨境电商卖家和AI从业者而言，这一方案意味着可以更灵活地利用全球各地的GPU资源（如AWS、Azure、GCP或国内云厂商），同时将核心模型和数据安全地托管在HuggingFace Hub上，无需担心数据迁移和出站流量费用。无论是模型微调、推理服务还是大规模训练，都可以通过一个统一的`hf://` URL完成从数据读取到结果发布的完整生命周期管理。