谷歌Genie 4世界模型新增音频、更逼真世界与实时操控 | TechCrunch

谷歌DeepMind周二以研究预览形式发布了最新世界模型Genie 4，这是目前生成画面最逼真、交互性最强的版本。用户可以在模拟运行过程中直接输入文字指令来改变场景，模型还会同步生成与画面匹配的实时音频，包括音乐、环境音和交互对话。相比一年多前发布的Genie 3，新模型不仅画质大幅提升，还能实现自由形式的实时编辑——改天气、换机位、往场景里加人或加物体都行，单次场景一致性最长可维持两分钟，是前代的两倍，物理效果和角色拟人度也有明显改善。 这次发布的时间点值得注意。两个月前，AI视频公司Runway刚推出第二代世界模型GWM Worlds 2，同样支持动态响应用户输入并带音频生成。与此同时，世界模型赛道正在快速整合：李飞飞的World Labs被AMD收购，亚马逊正与Decart洽谈收购，Rivian则刚买下Third Dimension，把仿真能力收进内部用于自动驾驶测试。谷歌此时拿出Genie 4，显然是要在拥挤的竞争里保持领先身位。 Genie 4与谷歌自家Gemini模型的结合也更紧密了。Gemini扮演“导演”角色，负责规划步骤、检查画面帧，Genie负责生成视觉内容。在一项与Gemini Robotics相关的研究实验中，Gemini 4 Argon模型把任务拆解成步骤，由Genie 4实时模拟出来——这展示了一条可行路径：机器人在真实世界执行任务之前，先在仿真环境里完成测试。谷歌研究总监Tejas Kulkarni在简报会上表示，未来会越来越多地看到这种“混合世界模型”，即Gemini负责写代码和文本，Genie实时接收并模拟不同抽象层级的现实。 商业化方向上，官方给出的场景包括游戏、互动学习和机器人。一个颇具想象力的互动学习例子是：走进一幅历史场景画作，和画中人物聊画里描绘的事件。不过，首批拿到访问权限的“可信测试者”指向了一个新用途——电影原型制作。谷歌DeepMind工程师Diego Rivas在发布会上说，实时能力最有价值的地方，是让创作者保持心流状态，“比如在构思阶段、分镜阶段，任何需要快速产出想法的时候”。谷歌自家的AI视频生成模型Veo已在电影创作者中越来越受欢迎，Rivas补充说，用户最终或许可以借助多模态大模型Gemini Omni，把原型直接转化为创作素材，但这些能力距离落地还有一段路。 Rivas整场简报中反复强调，Genie 4仍处于早期阶段，端到端的产品体验尚未定型。团队也坦承模型仍有短板：模拟运行时间越长，细节和物体越容易漂移；音频的准确性和场景内文字的可读性也还没完全解决。目前Genie 4以研究预览形式向可信测试者开放，未来几周将逐步推送给Google AI Ultra订阅用户（通过Project Genie工具）以及Gemini API和Google AI Studio的早期接入合作伙伴。