用TRL与OpenEnv训练编码模型绘制水彩画

一位名叫Surya Narreddi的艺术家在8月23日发布了一段视频，展示了一个语言模型通过编写JavaScript代码绘制水彩画的过程。这段视频迅速走红，截至目前已获得超过150万次观看。视频中，模型使用p5.brush库（一个为p5.js添加自然绘图工具的库）生成了约150行JavaScript代码，这些代码最终呈现为一幅幅看似松散、不完美却充满手绘质感的水彩画作。这一现象引发了广泛关注，因为当前AI图像生成模型往往追求完美和统计上的平均效果，而这种带有"缺陷美"的作品反而触动了人们的共鸣。 这一创意源自Surya在艺术与设计领域的深厚积累，他最初尝试使用文本到图像模型，但发现提示词作为唯一控制手段存在局限。于是他将目光转向训练模型本身，让模型直接编写绘图程序。Hugging Face的工程师Sergio Paniego决定从工程角度复现这一项目，使用TRL（Transformer Reinforcement Learning）和OpenEnv工具链，将整个训练流程开源。该项目的核心创新在于将强化学习应用于代码生成模型，使其能够通过试错学习绘制水彩画，而非传统图像生成模型的像素级输出。整个流程完全在Hugging Face平台上运行，包括训练任务、强化学习环境、评分模型和成对比较器，所有代码和模型权重均已公开。 从技术层面看，该项目采用Qwen3.5-35B-A3B作为基础模型，通过GRPO（Group Relative Policy Optimization）算法进行微调。训练过程中，模型需要生成JavaScript代码，这些代码在强化学习环境中被执行并渲染为图像，然后由评分模型评估其水彩画质量。研究者设计了三种不同的奖励混合策略进行对比实验，每种策略都经过约240个回合的训练。这种"代码生成+环境执行+模型评分"的闭环训练方式，使得模型能够逐步改进其绘画技巧。值得注意的是，该项目的训练命令只需一行即可启动，这得益于Hugging Face Jobs平台的集成，用户只需复制环境、设置两个环境变量即可开始训练。 这一事件对中国跨境电商卖家和AI从业者的启示在于，AI绘画的应用场景正在从传统的图像生成向程序化绘画延伸。对于电商卖家而言，这种技术可能带来产品展示图、广告素材设计的新思路，特别是那些需要体现手工感和艺术性的品类，如手工艺品、文创产品等。同时，该项目展示的开源训练流程降低了AI模型定制化的门槛，使得中小团队也能训练特定风格的生成模型。从行业趋势看，AI生成内容的审美正在从追求完美转向追求个性化和艺术性，这为差异化营销提供了新的可能性。此外，强化学习在代码生成领域的应用也为AI辅助设计工具的开发提供了参考路径，未来可能出现更多针对特定创作风格的定制化AI模型。