66岁LeCun新论文挑战Scaling Law:1.09亿参数胜720亿,模型大未必更懂世界
2 天前 1 阅读来源:36kr.com
AI 中文改写
原文为英文,由 AI 改写为中文报道,内容完整。如需参考原文请点击下方链接
66岁的图灵奖得主Yann LeCun又带着新论文回到了AI研究前线,这次他把矛头对准了行业里根深蒂固的“唯规模论”。10月29日,LeCun与布朗大学计算机科学助理教授Randall Balestriero共同发布了一篇37页的论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》,提出在特定训练条件下,不同模态的AI模型即便独立训练,也能学到可以相互对齐的世界表征。最抓眼球的是实验数字:团队训练的一个仅1.09亿参数的文本JEPA,在跨模态表征对齐测试中拿到了0.184分,超过了Qwen2.5-72B的0.154分和Llama-3-70B等大模型,参数量相差约660倍。另一项实验中,新方法只需2160万个训练样本,就达到了下一Token预测模型用9亿个样本才能获得的表征对齐水平,按样本数算效率提升约42倍。
需要先泼一盆冷水:这里的“超过”有严格边界。论文比较的是跨模态表征对齐指标,衡量的是模型内部表征结构与视觉模型的接近程度,而不是数学推理、代码生成或知识问答这些开发者熟悉的通用能力。换句话说,小模型赢的是“理解世界的方式更像”,不是“更聪明”。论文的理论起点来自2024年MIT团队在ICML上提出的“柏拉图表征假说”——不同模型能力增强后,内部表征结构会趋于相似。LeCun和Balestriero在此基础上建立了数学框架,指出关键在于训练时构造的正样本对:他们把同一场景的不同有效观察称为Good Views,比如同一场景的两张照片或两段描述同一场景的文字;而把同一文本的前缀与后续内容、同一输入的遮挡片段称为Bad Views。前者迫使模型提取不同观察背后共享的信息,后者则让模型把表征容量浪费在单一模态的细节上。论文证明,当不同JEPA模型通过符合特定条件的正样本关系训练时,即使处理不同模态,也能学到只相差一个旋转变换的表征空间。
这件事的背景值得说清楚。LeCun在Meta工作约12年,是FAIR的创始负责人和首席AI科学家,也是卷积神经网络的先驱、2018年图灵奖得主。但随着ChatGPT引爆大语言模型热潮,他与主流路线的分歧越来越公开:他不否认LLM的实用价值,却反复强调仅靠预测下一个Token不足以构建理解物理世界、具备记忆和规划能力的智能系统。2025年11月他宣布离开Meta创办新公司,2026年3月AMI Labs完成约10亿美元融资,核心方向就是世界模型。这篇论文因此不只是学术成果,更是他为JEPA路线补上的理论拼图。团队还把表征对齐能力落地做了验证:通过一个线性变换连接分别训练的视觉编码器和文本模型,构建的图像描述系统在COCO数据集上取得0.838的CIDEr分数,在无需成对图文数据拟合对齐变换的实验中,ImageNet-100 Top-5分类达到64%。对跨境电商卖家和AI从业者来说,这项研究的现实含义是:训练数据的组织方式可能比堆参数、堆数据量更值得关注,尤其是在多模态商品理解、图文匹配这类场景里,小模型加对的训练策略未必没有机会。当然,从论文到可用的产品能力还有距离,LeCun挑战的不是“大模型有没有用”,而是“只有大模型这一条路”这个假设。
这篇文章对你有帮助吗?
觉得有用?分享给更多人
留言 · 0 条
暂无留言,来说两句吧
