了不起的盖茨比 小说 李飞飞最新长文拆解：不是什么齐叫\＂天下模子\＂；它，才是破局关键！
出品 | 网易智能了不起的盖茨比 小说
作家 | 辰辰
“天下模子”是现时AI领域最垂危、最热、亦然最被糜费的意见。“天下模子”也被认为是通往AGI的最大可能的终极道路。
现时天下模子（World Model）主流时代道路尚未敛迹，粗略分为4条主流道路。一是生成式视频道路，以OpenAI、视频生成公司为代表；二是交互式天下（动作要求）道路，以Google DeepMind Genie等为代表；三是空间智能（3D结构）道路，以李飞飞 （World Labs）为代表；四是合股镶嵌斟酌（JEPA）道路，为Yann LeCun（杨立昆）等残酷。此外，（Cosmos/Omniverse）提倡走仿真基础设施道路。国内的大厂、视频生成公司、具身智能、3D生成公司等领域的创业公司，也纷纷残酷了我方“天下模子”的道路。
在一派喧嚣当中，天下模式道路代表东谈主物之一 李飞飞和World Labs 6月4日再度发出长文《天下模子的功能分类：渲染器、模拟器、筹划器，以及贯穿它们的轮回》 ，把“天下模子”这个意见再行阻隔：一个视频模子、一个游戏引擎、一个机器东谈主demo，三个标的顶着吞并个名字。李飞飞认为，它们骨子上是“渲染、模拟和筹划”三件透澈不同的事，而其中最不起眼的模拟器，才是物理AI的地基。
这套分类不是假造发明的，底下压着一个经典框架：智能体作念搬动作，编削天下现象，再通过不雅察感知变化，然后连续作念动作。通盘\"天下模子\"，不外是这个轮回的不同投影。李飞飞团队把它拆成了三类。
·渲染器输出像素，给东谈主看，追求视觉传神。它是生意化最熟练的标的，谷歌的接洽模子依然装进数亿用户手机。但天花板也很了了：它优化的是\"看起来对\"，不是\"践诺上对\"。 AI航拍从天上看无可抉剔，一朝试图开进城市，楼就塌了。
·筹划器输出下一步该作念什么。机器东谈主demo看起来很唬东谈主，但李飞飞说得很胜仗：\"险些通盘演示齐局限于严格受控的实验室环境。莫得一个在真实部署的复杂度上被考证过。\"从demo到真实干活，中间还隔着边远鸿沟。但钱依然砸下去了。因为能筹划的机器东谈主了不起的盖茨比 小说，才是颖悟活的机器东谈主。
·模拟器输出的是几何数据、物理参数和碰撞网格。莫得任何排场的东西。但要是把这件事比作盖楼，渲染器是外立面，筹划器是动线，模拟器才是地基和承重墙。谈话是对天下的概述，像素是对天下的投影，而几何、物理和能源学，才更接晚天下自己。
李飞飞用\"杯子放在桌上\"讲透了三者的关连：一个模子要是真实会通杯子的几何、材质和受力，就应该能从任何角度渲染它，模拟它被推倒后会发生什么，也能筹齐整只手把它提起来。三种才智分享吞并套底层会通。
反过来却不诞生。只会渲染，或者只会筹划，齐不一定作念得到另外两件事。因为模拟器操作的那一层，几何、物理和能源学，恰巧即是三者分享的底层自己。这即是模拟器被称为\"关键关键\"的原因：掌执了模拟，既不错投射成像素给东谈主看，也不错投射成动作给机器东谈主用。
虽然，李飞飞我方的World Labs作念的即是模拟器，她不是旁不雅者。但这套论证不单靠态度，也靠逻辑。
这条路的生意联想空间最大，问题也最大。三维数据比互联网视频稀缺好几个数目级，仿真到现实的鸿沟依然在，多物理场模拟的磋议资本相同提高数目级。模拟器是最垂危的一环，亦然最难啃的一环。
但更垂危的变化在背面：三条线正在合并。渲染器运转禁受动作输入，模拟器越来越可控，筹划器也从\"响应\"走向\"三想此后行\"。三条分别撑起数十亿乃至数万亿好意思元联想空间的时代道路，正在从寥寂名目走向吞并件事。逻辑尽头，是一个统一生界模子，能在三种输出模式之间切换。
这指向一次更深层的范式翻转。畴前十年，AI的中枢是斟酌下一个token。但谈话的规模，不是天下的规模。 空间智能学的是光若何落在名义，物体若何效力物理定律。这是透澈不同的底层逻辑。要是这个标的诞生了不起的盖茨比 小说，AI的下一跳不是连续堆更大的谈话模子，而是让机器真实\"住进\"物理天下。
像素不错说谎，物理弗成。AI像片能骗过宽绰网友，但机器东谈主走进厨房，地板上一齐两毫米的高差就能让它败露。
李飞飞和她的团队，在行业最热的时候，画了一张安稳的道路图：渲染、模拟、筹划。三个词阻隔，该作念什么，缺什么，什么最难，一目了然。
在一派\"天下模子\"的标语声中，先把这三个词分了了，再来谈编削天下。
李飞飞原文在X等酬酢媒体和博客发布后，反响浓烈：
投资东谈主贾斯汀·摩尔（Justine Moore）转发时写谈：\"'天下模子'粗略是脚下AI领域最被糜费的一个词。要是你搞不清天下模子到底干什么（好多东谈主齐搞不清！），浓烈保举李飞飞这篇，她把天下模子拆成了三种功能，还斟酌了走向。\"
AI行业资深巨匠扬·克龙贝格（Yann Kronberg）商酌：\"我以为这篇著作真实有效的少量是，它把'看起来正确'和'真实可用'分手开了。一个模子不错渲染出漂亮的房间，但仍然不知谈椅子是否挡住了门、某个物体能弗成转移，或者有外力介入时场景会如何。\"
硅谷科技高管安舒尔·达万（Anshul Dhawan）说了一句很精确的话：这三个不是三种家具，是三种功能。 这个分手之是以垂危，是因为今天大无数顶着\"天下模子\"名号的东西，其实只把其中一种功能作念好了。一个能渲染视频的模子不等于会通天下，正如一个能在实验室抓杯子的机器东谈主不等于能在真实天下干活。
临床AI家具负责东谈主鲁特维克·沙阿（Rutwik Shah）指出了行业耐心力的偏差：\"这篇著作太实时了！模拟器是物理AI和机器东谈主时代的先决要求。咫尺好多商酌齐连合在外形上，东谈主形如故其他方法，以及争抢平方任务中的第一东谈主称数据。可是重建环境、构建空间感知以便在真实天下中导航和操作，其垂危性可能远不啻于此。\"
有从业者据此残酷我方的看法：谷歌、OpenAI、通盘东谈主在内的这场智能体竞赛，惟有在模拟时代熟练之后才能真实范围化。在那之前，一切齐停在\"精彩Demo\"阶段。 他写谈：\"李飞飞在最新著作中再次钩玄概要，仿真才是真实的关键。渲染器能生成漂亮像素，筹划器能给出通达动作。但要是莫得一个真实以物理为先的模拟器当作基础，一切齐只可停在'令东谈主印象深切的演示'这个层面。这意味着什么？通盘这个词智能体竞赛惟有比及仿真时代熟练才能真实范围化。到其时，统一的天下模子才能把空间智能从畅谈酿成真实能职责的机器东谈主、真实能斟酌物理经由的数字孪生，以及终于会通因果关连的智能体。对机器东谈主领域的开导者和设计师来说，这是颠覆性的编削：可靠的sim-to-real迁徙终于成为现实，把长达数月的危机真实环境测试酿成快速、安全、可大范围扩展的考研场。这篇分类学著作一下子就把道路图讲了了了。\"
还有读者留住了更宏不雅的判断：\"通往AGI的路，可能不是连续堆更大的模子，而是让机器真实'住进'这个天下。\"
附：李飞飞原文全文翻译
原标题：A Functional Taxonomy of World Models — Renderers， Simulators， Planners， and the Loop That Connects Them
中语译名：《天下模子的功能分类：渲染器、模拟器、筹划器，以及贯穿它们的轮回》
作家：李飞飞（Fei-Fei Li）及World Labs团队
天下不是由词语组成的。在更早的一篇著作中，咱们残酷空间智能是AI的下一个前沿，天下模子是通往它的旅途。这篇著作里，我和World Labs团队想再往下走一层：在当下宽绰被称为\"天下模子\"的东西中，到底哪些功能模块真实组成了这项才智，每一块又是干什么的？谈话模子赋予了机器对意见、词汇和推理的超卓掌控力，但物理天下运行在透澈不同的基底层上。谈话模子学的是文本的统计结构，天下模子学的是空间与时候的统计结构：光如何落在物体名义，一个花坛从某个没被相机拍过的角度看起来是什么样，物体若何受力、若何解任物理定律。正因如斯，\"天下模子\"成了今天AI领域最垂危、也最被糜费的术语。磋议机视觉、机器东谈主学、强化学习和生成式AI各自声称在构建天下模子，但每一家指的透澈是不同的东西。一个能生成画面丽都但物理上不可能存在的火焰的视频模子，一个随性生成可玩游戏的谈话模子，一个至意模拟点火经由的物理引擎，它们顶着吞并个名字。古希腊东谈主从未就天下由什么组成杀青一致，火、水，如故不可分割的原子，一区二区三区国产因为\"天下\"从来不是一个单一意见。它永恒是一个占位符，代表某个想想家需要推理的阿谁\"举座\"。AI剿袭了相同的逆境，况兼恰巧在这个领域最需要精确性的时刻。分类法底层的阿谁轮回拨开这团迷雾，要从一张比通盘接洽时代齐更陈腐的图提及。包括萨顿和巴托（Sutton and Barto）经典课本在内，强化学习教科书几十年来一直在用吞并个图的某个版块描绘智能体如何与天下交互。学术上的厚爱称号叫\"部分可不雅测马尔可夫方案经由\"（POMDP），而\"天下模子\"一词最早的学术界说就出自这个传统。一个智能体，不错是东谈主、机器东谈主或软件系统，实施动作。动作影响天下的现象。智能体永远无法胜仗看到现象自己。到达智能体的是不雅察：落在视网膜上的光子、传感器读数、视频帧里的像素。新的不雅察催生新的动作，周而复始。\"现象\"这个词要阻隔说，因为不同领域含义不同。这里不是化学家说的现象，不是固液气的区别。这是物理学家和机器东谈主学家说的现象：对某一时刻天下正在发生什么的完满描绘，包括每一个物体、每一个位置、每一个速率、每一个属性。现象是天下的底层现实，原则上不错完满界说，但身处其中的智能体无法胜仗看见它。 不雅察是智能体对那一现实的部分视角。动作是智能体据此作念出的回话。这个轮回，智能体到动作到现象到不雅察再回到智能体，即是赋予\"天下模子\"这个当代术语以时代含义的结构。词自己的历史更早，不错回首到肯尼斯·克雷克（Kenneth Craik）1943年残酷的假说：心智通过运行现实的\"小范围模子\"来推理，自后在1980年代末和1990年代初被引入神经收罗。这个轮回也解释了今天东谈主们使用这个术语时到底在指什么。当下被称为天下模子的多样事物，骨子上即是这个轮回的不同投影。每一种输出的，仅仅轮回中的不吞并块。天下模子的三种功能第一种是渲染器。 渲染器输出一帧帧给东谈主眼看的像素，最垂危的质地措施是视觉保真度。一个把翰墨教唆涟漪为电影级航拍镜头的视频模子，即是渲染器。交互式系统也算，比如谷歌的Genie 3，或者World Labs我方的RTFM，模子笔据用户输入实时生成画面。这类模子对三维结构莫得显式会通。它生成的是不雅看者会看到的东西，而不是事物自己。航拍视角下的建筑从空中看可能无可抉剔，但一朝你试图驶入底下的城市，它们就坍弛了。第二种是模拟器。 模拟器输出的是现象：一个在几何、物理和能源学层面齐至意的天下表征，东谈主和措施齐不错在上头磋议和交互。渲染器的合同是视觉层面的，模拟器的合同是结构层面的，它要求几何经得起凝视，物会通任牛顿定律，能源学按物理定律运行。模拟器同期行状两类消耗者。建筑师、设计师、电影东谈主和游戏开导者这些东谈主类专科东谈主士，需要卓越视觉确切度的准确性。强化学习智能体、机器东谈主松手器和自动驾驶汽车这些措施，则把模拟器当考研场，在内部与天下大范围交互，测试那些在现实中危机、茂盛或不可能跑的场景。第三种是筹划器。 筹划器输出的是动作。给定不雅察和缠绵，筹划器回答的问题是：下一步该作念什么。在好多方面，这是渲染器的逆操作。渲染器汲取动作当作输入、产生不雅察；筹划器汲取不雅察当作输入、产机动作，闭合了感知-行径轮回。视觉-谈话-动作模子、基于模子的系统，以及新一波的\"天下-动作模子\"，齐是筹划器的尝试，它们试图决定一台机器东谈主在非结构化天下中该作念什么。这三种分类涵盖了今天大无谴责地家具，分手在实践中有效。但三个类别并非根人性地相互寥寂。它们分享吞并套对于天下如何运作的底层学问：几何、物理、能源学。一个能从任何角度渲染一只杯子的模子，原则上也该能模拟杯子被鼓励时会如何，并筹齐整只手去把它提起来。越来越多的前沿研究在刻意罅隙三者之间的规模。为什么模拟器是关键关键三者之中，模拟器获取的公众换取最少，却是重量最重的一环。本文要回话的，恰是这种分歧称。渲染器是生意化最熟练的标的。一批图像或视频生成家具正在消耗端和企业端快速彭胀。谷歌的Nano Banana模子依然把渲染器级别的图像生成才智送到了数亿用户手中。时代是真实，阛阓亦然真实。可是渲染器优化的是视觉确切度而非物理准确性，这个天花板至关垂危。 输出很漂亮，但弗成拿来设计一座建筑或考研一台机器东谈主。筹划器最引东谈主设计，也最不熟练，和快速演进的机器东谈主学习领域密致连续。畴前两年，这个领域产出的机器东谈主演示在视频里看起来很唬东谈主，但对这些演示到底展示了什么，需要憨厚面对。险些通盘演示齐局限于严格受控的实验室环境，物体种类有限，任务时候很短。莫得一个在真实部署所需的复杂度、多变性和络续性上被考证过。 从一段精彩的演示短片到一台能在厨房、仓库或手术室里认知职责的机器东谈主，中间鸿沟依然边远。尽管如斯，生意押注不小。一批资金充裕的入局者正在竞相委用通用筹划系统，最大的基础设施公司正在把筹划才智架设在更等闲的模拟栈之上。一台能筹划的机器东谈主即是一台颖悟活的机器东谈主，通盘这个词行业齐在抢阿谁率先到尽头的东谈主。模拟是两者之间的桥。 要是说谈话是对天下的概述，像素是对天下的投影，那么几何、物理和能源学即是天下自己。模拟器必须在这一层运作：它是结构性的骨干，视觉外不雅（供渲染器具）和动作效率（供筹划器具）齐不错从中导出。一个掌执了模拟的模子，不错把我方的会通投射为像素供东谈主消耗，也不错投射为动作斟酌供具身智能体使用。一个只掌执了渲染或只掌执了筹划的模子，反过来作念不到。 生意覆盖面极广。仅英伟达Omniverse一个平台，就对准了公司我方推断超万亿好意思元的可寻址阛阓，涵盖工场、仓库、供应链和数字孪生。机器东谈主考研、自动驾驶测试、建筑可视化、工程设计和药物发现，通盘这些赛谈齐依赖某种形态的模拟才智。这个领域最难的洞开问题也连合在这里。带有明确几何标注、材质属性和物理防范的三维数据，比渲染器考研用的互联网视频稀缺好几个数目级。\"从模拟到现实\"的鸿沟，也即是事物在仿真中的行径与在现实中的行径之间的互异，永恒存在。生成式模拟器在此基础上引入了一层新风险：AI生成的几何结构可能看起来正确，但遮掩自相交面或无理比例尺，一朝接入物理引擎就会产出毫无真义真义的物理扫尾。多物理场模拟，刚体、柔性体、流体和布料同期交互，磋议资本比单一物理域提高几个数目级。在World Labs，Marble是咱们投入这个领域的第一步。它汲取多模态教唆（文本、图像、视频或空间草图），生成可探索的三维环境，同期输出用于视觉探索的高斯溅射和物理引擎可操作的碰撞网格。但Marble仅仅一段更漫长故事的第一章，跟着渲染、模拟和筹划之间的规模运转消融，这个故事正在通盘这个词领域被书写。规模正在消融，接下来会如何但更垂危的还在背面。当下这个领域最垂危的趋势是：三个类别正在互相会通。 分享的洞见在于，渲染一个天下、模拟一个天下、在一个天下中行径所需的学问，大体上是吞并套。延续前边的例子，一个真实会通杯子如何放在桌上的模子，会通它的几何方法、材质属性、受力响应，应该能从任何角度渲染阿谁杯子，能模拟杯子被推倒时会如何，也能筹齐整只手去把杯子提起来。三个类别是吞并套底层会通的三种投影。例如来说：近期稀薄量未几但络续增长的研究，来自多个机器东谈主实验室，依然讲解至少在意见上，一个预考研的视频渲染器不错被用作\"天下+动作\"合股斟酌的骨干收罗。这示意了渲染器和筹划器之间的一座桥，让一个模子同期联想会发生什么和该作念什么。World Labs的Marble依然能从吞并个模子同期输出高斯溅射和碰撞网格，消解了渲染器和模拟器之间的规模。每一个层面齐在从被迫输出走向交互式系统：渲染器运转禁受动作输入，模拟器产出的天下越来越可控可裁剪，筹划器冒失单响应走向三想此后行。逻辑尽头是一个统一的天下模子：一个基础模子，能渲染像片级传神的视角，生成物理精确的结构，筹划动作序列，笔据下贱需要在输出模式之间切换。 咱们眼前仍有一系列令东谈主生畏的挑战。数据图景极不平衡：渲染器浸泡在互联网视频的海洋中，模拟器和筹划器濒临三维钞票和机器东谈主演示数据的严重缺少。优化视觉好意思感可能葬送机器东谈主或高精度模拟所需的精确性。在一个架构内合股这些矛盾，是今天天下模子研究中最中枢的洞开问题，亦然World Labs在络续演进Marble的经由中决心去作念的事。可是标的是澄莹的。自1980年代末以来，这个领域一直在押吞并个赌注：一个富有丰富的天下模子，即是任何智能体去看天下、构建天下、辞天下中行径所需的全部。这个赌注如今正驱动着整整一代研究。赋予这一赌看重量的，是正在发生的会通：三条各自依然鼓励和塑造了数十亿好意思元产业的时代道路，当先以寥寂研究名目起步，咫尺运转推崇得像一个举座。跟着它们之间的规模消融，它们将重塑一个更大的东西：机器智能与其所栖居的物理天下之间的关连，也即是空间智能的长弧。谈话赋予了机器商酌天下的款式。天下模子，是机器终于运转会通、联想、推理这个天下，并在其中与之互动的款式。
