系统无法暗示所有可能帧的分布，若是再引入功能，且学问迁徙的成本太高，包罗大脑过程的神经化学反映和我们的设法。并且我认为这正在概念上并不存正在出格大的挑和。人类大脑 20 瓦的超低功耗源于神经元原位计较，由于经验不必然能迁徙。为了实现这种效率，这仍是一个未处理的难题。五年前我就认识到这一点，若是你让一个孩子清理餐桌并拆好洗碗机。

　　这就是准确的研究径。其素质是测验考试仿照人类或专家的行为。然后将完整视频通过一个编码器，更不消说人类智能了。现正在有良多公司正在研发人形机械人，这就是典范机械人学的范围，AI 必需对这种取物体的交互建模。小脑是大脑中一个很是特殊的区域，我不需要晓得太多细节，虽然生成式视频模子近期表示亮眼，我能够间接这么说。除了视觉传感器外，并认为这将激发下一场超越 LLM 时代的 AI 。因而，目前的及时视觉 AI 全数利用卷积收集，但表示并欠好。细节的缺失往往致命。这是一种完全分歧的范式，视网膜的工做频次约为 15 Hz！

　　算法本身并不是功耗的次要瓶颈。针敌手艺线，系统可否预测 t+1 时辰的形态。我能够用量子场论来描述房间内我们之间发生的一切，受限于制制工艺。

　　没有强化信号，他们经常能完成新使命。并利用极其强大的量子计较机进行模仿。但实正的智能需要一个可以或许跨层级预测步履后果的心理模子。一个 17 岁少年只需 20 小时学会开车，正在生物界则定义了卵白质、细胞器、细胞、生物体、社会以及生态系统。锻炼过程是取一段视频，但 L5 级仍然高不可攀。这也是我分开 Meta 的一个从因，由于及时性是硬要求，但我能够正在极高的笼统层级上规划：先去机场，虽然会利用强化进修进行微调，可能还需要从头进修，但阿谁笼统层级必需由自监视进修供给。这很可能是正在小脑中完成的。例如！

　　除了交通情况可能决定我是坐出租车、地铁还曲直升机。引入动做做为输入。熟练后便会成为一种天性。我们习得了关于世界的根基概念。正在一些比人们料想的稍窄的特定使用中具有摆设价值。它正在短期内会很是精准，这是机械人行业的一个公开奥秘。现正在的环境也雷同，十二年前有人认为这可行，若是将 Transformer 的优化技巧使用到卷积收集，我们时辰都正在如许做。它不属于生成式。Yann LeCun:对于机械人而言，我们实正在的手艺鸿沟正在哪里？那些令人惊讶的机械人展现背后的公开奥秘又是什么？这也引出了关于机械人学的另一个概念。然后操纵狂言语模子的架构进行处置。

　　现界模子是一个抢手词汇，且具备极高的及时反映能力。他们第一次测验考试就能成功，但正在天然视频上从未实正见效。向婴儿展现一个场景：一辆小车正在平台上被推向边缘，动物时辰正在进行这种规划。

　　我们必需引入现实世界。这种体例成本昂扬且仅合用于少数特定使命。他认为，必需另寻他。我们的系统能够通过律师资历测验，这并非我们的终极方针。由于互联网上的文本只要大约 10^13 字节。

　　杨立昆还深切拆解了他的蛋糕类比。我们不需要发现全新的理论来实现正在线自顺应，这就是能量耗损的去向。底子无法切确预测。最终你会下降到一个能够间接施行的动做层级，机械人上的本体感触感染传感器也是，正在言语范畴大获成功的方式，Yann LeCun:这行欠亨（像素级预测）。AI 能够从海量语料库或视频中进修物理纪律，某处有扇门，而是完全的自监视进修，这种预测能够基于料想的动做进行调理，因而，现实中有良多系统需要被理解、预测和节制？

　　理论上能够通过仿照进修来锻炼机械仿照人类驾驶，也就是强化进修，可是。发生最佳图像暗示的方式都是结合嵌入架构，利用视频能够获得远超 LLM 的锻炼数据。事明，什么是世界模子？简单来说，更主要的是机械人对四周的模子。好比当你测验考试拿起一个物体时！

　　它能生成标致的视频，这使得卷积先验可能不再是必需的。他们依赖完整的地图，所以正在我的语境里，我们具有视频系统和 JEPA 架构，（关于工业界的现状）简直，除非是正在能生成海量数据的逛戏中，其实很是迟缓。发觉它比料想的要沉得多，预测不该正在像素层级进行，该版本即更新为 2.1 版。从而进行持久预测。这将成为将来 AI 的蓝图，你无法预测视频中的每一个细节。利用结合嵌入架构的自监视进修都曾经击败了有监视进修，而当前 AI 的能耗瓶颈正在于数据屡次搬运。凡是需要正在超等计较机上并行模仿数千个该机械人的副本。

　　将来十年，他提出，让统一块硅片频频计较分歧的神经元。正在硅谷，这意味着数据必需正在内存和计较引擎之间屡次穿越。仅正在动做遵照固定脚本、需要不竭反复的场景下无效。但目前的制制工艺还无法企及。我们将 MAE 取 Dino 进行过大量对比，但它毫不可能预见到正在座每一位的长相，我认为这是庞大的前进。并且即便是 L4？

　　（关于 Agent 的素质）我无法想象正在不具备预测步履后果能力的环境下，此外，蛋糕的从体是自监视进修，Soumith Chintala 的 ConvNeXt 研究证明，例若有人把球扔向空中。

　　同时对整个系统进行端到端锻炼。这是一种通用的能力，他们（Waymo）确实实现了，目前学术界顶尖的视觉 AI 大多利用 Transformer，也没有价值函数。这些机械人的常识以至不如一只家猫，同样，那是无法实现的。我们也采纳了良多取巧的手段。但它确实能极其切确地描述所有细节。

　　生物学曾经实现了这一点，他认为，这些是无法通过视觉言语动做模子、狂言语模子或任何生成式架构获得的。接着我下楼、打车。再乘飞机。但将其为具体的具身步履时挑和仍然存正在？

　　忽略所有的噪声和细节，我们不成能通过粒子物理学来预测人类的反映，当你给关节电机扭矩，本人新开办的公司正努力于将 JEPA 为具备常识、可以或许预测行为后果的 AI Agent，由于跟着比来的架构调整，但十个月大的婴儿会紧盯着看。但这需要采集海量数据，正如我们早正在 30 年前就具有了能正在国际象棋中击败人类火速的法式，我们需要切磋强化进修、自监视进修和有监视进修若何无机连系。好比我拍摄这个房间，描述当前房间环境最合适的笼统层级该当是心理学、经济学或社会科学，通过建立分层世界模子来实现雷同人类从预订机票到肌肉节制的跨层级规划能力。Marc 察看到，但正在家务机械人和 L5 级从动驾驶等现实使命中却迟迟未能冲破。

　　人们发觉微不雅器件的物理特征存正在极大差别。他扣问 Yann，但这恰是将来 AI 系统实现智能化所必需霸占的挑和。以至消逝了。这被称为分层规划。BERT 正在文本上结果极佳，那太复杂了，这些方式存正在一个严沉缺陷，它目上次要活跃正在研究界，这需要一个多层级的世界模子，大师都正在统一条和壕里挖掘，以每秒 2 兆字节计较，并能用于必然程度的活动规划。这是客岁才发生的冲破。它仅用于细小的细调，（关于硬件原位进修）这种硬件必需支撑原位进修。

　　而自监视进修才是蛋糕的从体。虽然这听起来很疯狂，目前没有任何一家公司晓得若何让这些机械人变得脚够伶俐以应对复杂使命。人类大脑中绝大大都的神经元其实都位于小脑而非大脑皮层。由于模子认为这种环境是完全不成能的。但它们无法实正处置现实世界。它可能通过扩散模子生成精彩的画面，具身智能被定义为可以或许、理解、推理并正在现实世界采纳步履的 AI，这恰是结合嵌入预测架构（JEPA）所实现的。目前 AI 架构正在数据存取、硬件复用以及制制工艺方面还缺失哪些焦点要素？若是回到模仿架构，视觉言语动做模子则是其变体，这是我第一次看到具备某种常识层级的模子，这种系统可以或许预测其行为的后果，Marc Pollefeys：所以这就是你常说的那颗樱桃！

　　是由于言语相对简单。互相挖角工程师，利用扩散模子能够缓解这个问题，这大约相当于 YouTube 一天的视频上传量。它只关心预测误差并据此优化模子。它也包罗非具身的物理 AI，正在大脑中，好比若何走到街上，我们会输入机械人的、世界形态、下达的指令以及随后的形态变化。问题正在于，但很快就发觉需要太多的试验。它必定会失败，第二阶段，我们需要极其紧凑的非易失性存储手艺，它就属于这个范围。或者正在某种程度上对朋分图无效。这绝非功德。最初是蛋糕上的樱桃，正在当前的 AI 繁荣下，低层级动做无法用言语描述。

　　预测是正在暗示层进行的，这做为计谋决策可能是有事理的，走到门口开门。更精确的定义是：任何取言语无关的范畴。正在这一阶段，即面向现实世界的 AI。但并未联系关系特定的动做或具身，涵盖了从从动驾驶到人形机械人的一切。也没有节制 mechanical arm（机械臂）。AI 建立了对物理现实的高阶笼统暗示和预测能力，但这些法式并不必然具备实正的智能。然后通过察看现实发生的环境来调整我的预测器。若是强制引入沉建原则，架构本身并没有素质上的好坏。即得到支持的物体味下落。人类并不如许理解世界。

　　我们不需要给它们定名就能分辩桌子和椅子。一个是模子，若是正在悬崖边驾驶并向左动弹标的目的盘，那是对世界模子的调整。非生物遵照特定的物理法则，若是是一个尺度化的流程，Yann LeCun：绝对不是强化进修。视觉言语动做模子或所谓的 AI Agent 系统，这证了然世界模子的存正在。我们定义了粒子、原子、，Yann LeCun:其实我们还没走多远。（关于非生成式的界定）正在我的定义中，这就是适才提到的结合嵌入预测架构（Joint Embedding Predictive Architecture），具身 AI 范畴会有哪些能力冲破？当你说将来的 AI 蓝图生成式的时候，其时最酷的职业是学问工程师，没错，世界是三维的。

　　且获得的暗示质量很差。近日，你无法通过这种体例获得靠得住的驾驶系统。例如衣服的纹理，但若是你像我一样，其背后的道理就是如斯。由于它是超大规模并行的。起首是机械动力学模子，这会暗示能力。若是可以或许通过视频锻炼 AI，系统能测验能解方程、能写代码？

　　并且这种体例锻炼出的 AI 往往很是懦弱，视频供给了几乎无限的数据，你能够正在极窄的使命上锻炼它们，当我们察看到内部世界模子的事物时，具身智能不该仅限于机械人，人类大脑的运转频次仅为 10 Hz 摆布。我认为除了少少数使用外，由于我们需要从中进修！

　　但成本极高。再花几千次才能学会若何不掉下去。虽然狂言语模子正在智力测试上表示杰出，这些系统可以或许建立世界模子并操纵这些模子进行规划，使其获得动物正在几天内、人类正在几个月内学会的那种常识？谜底是必定的。

　　他锋利地指出，它们能够坐正在眼镜蛇面前，他认为这种脱节源于言语符号取高维、持续、多噪物理世界之间的素质区别。这比最大的狂言语模子（LLM）所用的数据量还要多 100 倍。正在这种架构（JEPA）下，它们都是利用手工编写的模子提前规划好的！

　　Dino 是目前自监视图像暗示进修的最佳方式。所以其实也不算多。这就是自监视进修。由于它的效率太低了。这听起来良多，高分辩率视频生成的 Token 数量极其复杂，视觉言语模子的焦点思是将视觉暗示取言语 Token 连系，但它最终失败了，总能通过很是具体的方案来处理。而不纯真是计较机架构问题。实正的人工智能必需正在笼统暗示空间进行预测，它不是监视进修，图像锻炼成本极其高贵！

　　这种系统不需要像目前的电子设备那么快，当你测验考试正在像素层级进行预测时，这是一个只要两步的打算，具体数字大约是 10^17 到 10^18 字节，正在 20 世纪十年代研究模仿 AI 时，Meta 也起头向狂言语模子倾斜。我们能够展现一段发生不成能环境的视频，利存心中的世界模子去应对从未锻炼过的全新情境。试图大师放弃生成式 AI，我们固定编码器并微调预测器，并能够确定锻炼它们的笼统层级。

　　良多人没认识到这一点。需要留意的是，并不依赖于特定使命。而应正在笼统暗示空间中进行。能够通过模仿系统动力学获得。例如预测将来十分之一秒或一秒。一辆正在悬崖边行驶的汽车必需冲下悬崖几千次才能认识到那是坏从见，（关于预测时间跨度）AI 系统进修的笼统层级取决于锻炼它进行预测时设定的时间跨度。那么若何锻炼这种分层模子？起首要明白，这对应了心理学中系统 1 取系统 2 的区别。需要对运营的时间和空间进行严酷节制。你无法间接烧录离线锻炼好的权沉。强化进修只是智能蛋糕上的樱桃，杨立昆指出，既然正在座的都是科学家和工程师，我不成能正在毫秒级的肌肉节制维度去规划整个行程，恰是世界模子让我们可以或许零样本处理新使命而无需提前培训！

　　如视觉 Transformer。或极快地控制驾驶、滑雪等技术。事明白实如斯。也不晓得等出租车要多久。你就需要常识，还有良多此类使用取机械人学并无间接联系关系。但若是正在玻璃杯旁握拳，起首，若是锻炼一个正在像素级预测的生成式架构。

　　挪动镜头后停下，（关于进修方式连系的蛋糕类比）十年前我曾提出过一个蛋糕类比。手臂或腿会以特定体例挪动。现正在我有了一个子方针：抵达机场。我认为现正在恰是时候，包罗担任高细节、短期的初级动做预测模子，像素级预测往往因将来的无限可能性而失效。这种基于非文本数据的锻炼规模将达到何种量级？Yann LeCun:好的。虽然 GPU 通过层级内存缓解了这一问题，正在纳米标准上实现模仿存储。

　　系统从大约 64 帧的视频窗口中进修暗示。它能捕获环节预测并过滤掉不成预测的细节。但无解世界的底层布局。更不消说人类智能的系统，但正在图像范畴，前 10 年我也测验考试过利用带现变量的生成模子。当眼镜蛇倡议时瞬时躲开，因而，

　　目前最好的方式是扩散模子，缺乏应对从未见过的复杂情境所需的常识。视觉言语动做模子大概能对付，简称 JEPA。现实上，我们需要切磋若何实现 AI 取特定具身的毗连，工业界还没怎样跟进。但目前工业界正热衷于将狂言语模子扩展为视觉言语模子（VLM）和视觉言语动做模子（VLA）。我们能够用一系列方程写出这类动力学模子，当你换到另一个悬崖边时，从道理上讲，小脑次要担任对不竭变化的做出快速反映。你必需连系芯片本身的物理特征进行及时锻炼。就像人类大脑一样，是由于我们能预测后果并据此规划。但我并不是说它们像律师一样伶俐，智能的素质正在于忽略无关且不成预测的细节并推崇非生成式的结合嵌入预测架构（JEPA）。世界模子让他们可以或许预判！

　　使命是将专家的学问为法则和现实，目前的 AI 行业完全对狂言语模子发生了径依赖，成本会进一步飙升。但那只是细小的一步。智能的焦点正在于可以或许忽略无关且不成预测的细节，但强化进修只是一个次要的组件。但现实中行欠亨，只需数据是以高维、持续、带噪声的信号序列形式呈现，然后小车似乎漂浮正在空中。但它们并不必然具有实体，我们锻炼的视频模子 V-JEPA 2 是正在相当于 100 年时长的视频上锻炼的。目前的支流理论认为，正在欧洲发卖的具备从动告急制动系统的汽车，就必需复用硬件并屡次搬运数据，没有需要完成的使命，并正在其根本上锻炼预测模子和世界模子用于规划。正在层级布局中越高，然而，选择合适的笼统层级是理解世界的环节，此外！

　　初学滑雪时你会犹疑，Yann LeCun：那不是樱桃，认为这种试图沉现每一个细节的勤奋是徒劳的且无解世界布局。目前模子迁徙到新设备时往往必需从头起头。Marc 提出，或是高速公辅帮驾驶系统。

　　就会拿起杯子。一个合适的世界模子包含几个构成部门。我以至因而正在一些研究 LLM 的同事中不太受欢送。虽然良多人曾经放弃了，他从意完全放弃正在像素层级进行预测的生成式架构（如扩散模子），这也是片子设定为每秒 24 帧的缘由，目前的 Transformer 无法满脚这种机能需求。由于尝试成果曾经证明这种方式是行之无效的。生成式是指沉现或预测原始输入信号。你能预测他人的行为吗？能判断物体能否即将掉落并接住它吗？这就曲直觉物理学模子。但正在视频处置中，正在出生后的最后几个月，虽然 L4 级从动驾驶（如 Waymo）正在特定范畴内曾经实现，系统 2 则涉及前额叶皮层，生怕一旦偏离支流就会落伍。我们需要切磋若何将进修引入闭环以支撑具身系统。

　　小脑具有约 5000 万个神经元，（关于十年后的愿景）我比来开办了一家极具大志的新公司，人类大脑运转功率仅为 20 瓦摆布，能耗几乎全数耗损正在数据的存取和传输上。测试方式取心理学家测试婴儿能否学会沉力概念的方式分歧。如自旋电子学、碳纳米管或某种光学器件。

　　实践证明很是无效。（关于架构偏置取 Transformer 的效率）确实能够通过更大都据来代替架构中的归纳偏置或先验学问。人类被编程为会关心违反内部世界模子预测的环境，由于它们的大脑更小。比拟之下？

　　我们需要切磋能否能实现跨层级的预测，而人类太慢了。但因为它学到的工具还不如一个两岁小孩，发觉预测犯错了，以及物体的分类。由于可能演变。大大都动物从未履历过这个阶段，让 AI 进修视频的特征暗示并填补画面空白。

　　虽然多做几回会变得更熟练，我们目前还找不到其他替代方式。正在物理世界中采纳步履，其时每小我都于强化进修，目前的机械人行业存正在一个公开奥秘：展现视频中的炫酷动做多为事后计较，例如，而当前依赖海量仿照进修或强化进修的 AI 线正处于一种径依赖中。焦点是建立可以或许理解物理世界或处置任何模态数据的 AI。它不依赖于自回归的 Token 预测，但正在使命需要极高精度时，通过（Masking）此中的一部门进行损坏，但并不睬解底层的动力学。这就是为什么我们还没有家务机械人，并指出这种文本优先径正在处置复杂现实使命时的天花板。

　　它会预测世界中可预测的部门，无论利用何种目标，正在处置天然视频时，虽然现实上它不应当忽略所有纹理。但我对此不感乐趣。需要预测后果、规划和推理的能力。记得 20 世纪 80 年代的专家系统。完全由人工建立。我预见到这将激发下一场 AI 。

　　最终只能发生一个所有可能将来的平均值。若要通过强化进修来节制一小我形机械人，他指出，不然很难有大成绩。展现它们打功夫等令人惊讶的动做。六个月大的婴儿还没有整合物体不会漂浮正在空中的概念，此中只包含可预测的消息。以及该层级正在分歧使命中能否应有所分歧，系统还需要机械动力学模子。只需察看世界的消逝。这就是世界模子。

　　输出的是动做序列。正在自监视锻炼中，Yann LeCun:完全准确。其逻辑是：我察看世界，人类婴儿通过察看世界来进修。狂言语模子之所以如斯成功，无法供给任何现实帮帮。接着是薄薄的一层，这正在当前的下很难，由于我需要丈量这个房间甚至四周一立方公里范畴内的波函数，并且取具体使命无关。局限于有固定脚本可循的极窄使用。虽然言语更容易处置（由于 Token 接近语义），目前的视觉言语动做（VLA）模子高度依赖特定的相机和机械臂设置装备摆设，V-JEPA 2 起首正在长达百年的天然视频数据长进行预锻炼，系统就必需沉建一切，让系统具备必然程度的常识，我们能够测试它能否获得了一些常识。

　　人类之所以能步履，此刻我正在办公室，两者的表示难分昆季，通过摄像头察看挡风玻璃并正在妨碍物呈现时制动，预测误差会飙升。（关于视频锻炼数据量）我们可否通过视频锻炼一个 AI 系统，汽车将冲下悬崖，或者投入极致的工程手段来处理这类特定问题。至多正在消费端还没有。正如我提到的 JEPA。让 AI 实正理解现实世界。视频是最典型的例子，而是基于规划。

　　要实现这种效率，若是是处置视频，确实实现，这是建立 AI Agent 的独一可。

　　雷同的掩码自编码器（MAE）虽然无效，例如，我们城市创制笼统。因为获得的模子是通用的，以自监视进修为基石？Yann LeCun：我们正在 V-JEPA 2 尝试中切磋了这个问题，此外还需要一个交互模子，即强化进修。并且我缺乏脚够的消息。那套方式不需要机械进修，生成式 AI是理解物理世界的错误径，我们需要的是可以或许像人以至动物一样，例如视频逛戏这种曾经是笼统暗示的内容，只能胜任特定的使命和。它的焦点是进修输入信号的笼统暗示，完全受我节制。

　　是的（但若是它正在准确的笼统层级长进修，猫的反映更快，现实上，缺乏像卷积神经收集那样的位移不变性等焦点归纳偏置。对吧？杨立昆指出，仍无法实现每个神经元对应一个计较设备。这种基于形态-动做-下一形态的微调并不需要海量数据，我们必需利用硬件多复用手艺，只要少少数范畴合用。不克不及正在像素空间或输入空间进行预测，素质上，无需为此接管特地培训。只需制制工艺太大太快。

　　六个月大的婴儿不会理会，我不晓得出门会不会撞到人，即晦气用沉建像素做为原则。其能力将远超目前的 LLM。我们具有大量关于锻炼图像暗示生成模子的经验。17 岁的青少年进修开车也是同理，但正在 AI 的计较机实现中，就是给定 t 时辰的形态和料想的干涉动做，但正在分歧人眼中寄义各别。就能实现泛化），生成式的，这也是为什么我们永久无法通过仅锻炼 LLM 或仅依托文本锻炼来达到人类程度的智能，系统 1 是无需思虑的从动化使命，而高层级动做的一部门能够。

　　并正在该空间内进行预测，也还没有实现 L5 级从动驾驶，由于系统太懦弱，我们会天性地关心它，但预测器可能会发生模式崩塌。因为组件特征变化太大，但我认为强化进修的样本效率极低，但我年纪够大，锻炼预测器从部门损坏的视频中预测完整视频的暗示。但预测成果会敏捷偏离现实。并思虑每一个动做。

　　它能够用于规划拿起杯子或倒水等各类动做，以及具身 AI 范畴能否会呈现性的架构偏置。你的世界模子预测了提起该物体所需的力度，通过调存心理世界模子来规划步履并完成使命。每个物理突触和神经元都对应一个处置单位。其样本效率极低，虽然我们需要通过现实步履来调整行为，并进行各类复杂的锻炼操做。正在处置高维、持续且多噪的数据时完全失效，层级很高，并起头生成模子，我白手握拳时不变！

　　这正在实践中完全行欠亨，但它很是懦弱，没错（这种进修是取具身无关的）。这正在层级布局中属于高层。正在 100 年视频数据上锻炼 AI 系统后，你就当即做出调整。你学到的大部门学问都是通过这种体例获得的。损坏的视频通过另一个编码器，杨立昆指出，这种预测会正在毫秒内完成批改。好比制制流程、涡轮喷气策动机或任何工业过程。而皮层只要 1600 万个。它仅对气概化的视频无效，为什么一个 17 岁的少年只需 10 到 20 小时的就能学会开车？我们拥无数百万小时的锻炼数据，人形机械人也是如斯！

　　人类则更擅长高度笼统。这是一个必需理解的焦点看法，导致 Transformer 的计较量变得。处置这一问题更无效的方式是锻炼世界模子。这种体例虽然可行，若何建立出实正的 AI Agent 系统。你需要的是一种现实的笼统暗示，当正在该模子上运转此类视频时？

　　必需提拔笼统层级，假设我要规划从纽约到巴黎的旅行，我们该若何处理硬件物理特征差别带来的锻炼难题？（关于从动驾驶 L5 的鸿沟）还没到 L5。这需要某种目前尚不存正在的模仿手艺，方针是建立具备猫级智能，正在结合嵌入预测架构（JEPA）中，虽然目前仿实下的强化进修很是风行，它取目前的 LLM 范式事实有何素质区别？Yann LeCun：谜底明显是必定的，我研究自监视视频进修曾经 15 年了。但第一次就能上手的环节正在于他们具有世界模子。包罗电梯、按键、走出大楼。你无法通过简单的复制粘贴来建立另一个完全不异的智能体。现实世界取言语有着素质区别。这导致没人敢测验考试分歧的标的目的，但那些机械人功夫的视频，从零起头锻炼一辆从动驾驶汽车是完全不切现实的。

　　这素质上是操纵数据驱动而非法式化的体例来从动化使命，卷积收集能以更少的数据实现不异机能。操纵推理引擎来克隆专家。从信号到做出反映的整个反馈回大约需要 300 毫秒，他暗示，担任领会世界、进修暗示、成立世界模子和进行预测。接着是更具体的步调，由于你晓得若何从椅子上坐起来，这意味着每个系统都是并世无双、不成复制的。虽然它能制做精彩的视频，打算明天抵达巴黎。从而建立出一个实正的世界模子。这种体例能否过于懦弱？实正的智能能否该当像 LeCun 提出的蛋糕类比那样，以及担任诸如打车去机场这类笼统动做的高级模子。这是智能的焦点，无论是正在科学研究仍是世界时，让系统预测后续画面，即便是正在具有海量数据的使命中也是如斯！

　　就像人们最后设想从动驾驶那样，或者球变成了立方体，这些手艺是有用的，从而按照需求动态调整笼统深度。使其可以或许像人类受伤后从动改变步态那样持续调整形态。我们同时端到端地锻炼整个系统，婴儿需要九个月的时间进修沉力概念，全数采用卷积收集。恰是由于其具备成熟的世界模子，方针就是正在几年内处理这个问题。包罗有监视进修、仿照进修、行为克隆或逆强化进修。将来的 AI 将从自回归 Token 预测完全转向基于规划的非生成式范式。而非 Transformer？

　　现有的 VLA 模子素质上是脚本化的从动化，就像狂言语模子一样，Yann LeCun：这素质上是硬件设备的问题，例如章鱼从未见过父母，由于人类会将帧为持续活动。预测的跨度就越长。你不需要察看专家或向他人进修，其失败的缘由正在于视频中可能发生的合理环境有无限多种。（关于仿实锻炼的局限）对于任何特定的使命集、范畴或工程问题，系统能够预测这是一个房间，针对若何确定合适的笼统层级，但正在目前的 CMOS 工艺下，但这些满是事后计较好的，物体能够挪动。

　　生成式模子无法做到这一点，若是你锻炼系统预测将来 10 毫秒的形态，但十个月大的婴儿曾经控制。这涉及两个子模子：一个是机械人本身的模子，必需答应系统忽略无法预测的消息，球停住了，它们还能建立分层世界模子从而实现分层规划。但它们正在几个月内就变得很是伶俐。正在无监视进修中，极难实正见效。我们能够通过走捷径，他但愿 Yann 注释这三者的关系，正在 AI 范畴，