一段短片划过你的时间线。有人正用方向键在一片风景里行走，说明写着这是生成出来的，不是搭出来的。它看起来像一款没人做过的电子游戏。
底下的回复叫它世界模型。于是你去查了查这个词。
先点击画面，然后用方向键或 WASD。
十分钟以后，你开了五个标签页，它们描述的是五台不同的机器。一台生成你可以用方向键操控的视频。一台把几何结构导出到 Blender。还有一篇论文讲的是预测视频嵌入向量，而它从头到尾没给你看过一段视频。
这不是研究上的失败。大约在 2018 到 2024 年之间，计算机视觉、强化学习、机器人学和可解释性研究都伸手拿了同样这两个字，而且每一方描述的都是真实存在的东西。到了 2026 年，各个实验室开始出版词典。
- 一段 DeepMind 的演示，有人用方向键走过一片生成出来的风景。Genie 3 · Google DeepMind其实属于渲染器
- 一篇 Meta 的论文，讲的是预测视频嵌入向量，而它从头到尾没给你看过一段视频。V-JEPA 2 · Meta AI其实属于表征模型
- 一个可以直接加载进 Blender 的三维环境。Marble · World Labs其实属于仿真器
- 2018 年的一个强化学习结果，讲的是赛车游戏里的一辆车。World Models · Ha & Schmidhuber其实属于动力学模型
- 一场主要靠嗓门进行的争论，争的是一个从没见过棋盘的语言模型是不是照样在内部有一个。Emergent World Representations · Li et al.其实属于内隐模型
这一章我会讲清楚目前在用的五种定义、每一种是从哪里来的，以及那个能把它们分开的测试。第 2 到 6 章讲底下的机制。
源头
这个词有一个很具体的出处。在控制理论里，后来在强化学习里，世界模型指的是一个学出来的转移函数：给它一个状态和一个动作，它给你下一个状态。
写下来是这样：
在给定 和的条件下，
把鼠标移到公式的任意部分，或下面的任意短语上。
卡尔曼 1960 年的滤波器把其中一半做得极漂亮：从带噪声的测量里推算出隐藏状态(它估计状态，但从来不问「如果我采取行动会怎样」，所以它是前身而不是成员)。1990 年前后，Schmidhuber 造出了分成两部分的神经系统：一个网络给世界建模，另一个选择动作，而前者预测后者的选择会带来什么。Sutton 的 Dyna 做的是相关的另一件事，它在「从真实经验里学」和「从模型编出来的经验里学」之间交替。
Ha 与 Schmidhuber 的《World Models》（2018）让这个说法流行了起来。他们的系统有三个部件：一个编码器(一个把视频帧压成一小串数字的网络)、一个预测这串数字接下来往哪走的动力学模型，以及一个几乎完全在模型自己想象出来的推演里训练出来的小控制器。
PlaNet（2018）直接从像素里学到这套动力学，并在潜在空间里做规划(「潜在」的意思就是模型自己的压缩描述：几百个数字，而不是上百万个像素)。Dreamer（2019）用同一套机制，从想象出来的轨迹里学出行为。
后来这个词开始迁移。JEPA 不再预测下一帧长什么样，而是开始预测它的一个摘要。Genie、Cosmos 和 Marble 则朝相反方向走，走向你能看见、能走进去的世界。四条传统，各自握着同一个问题的不同一块。直到输出开始彼此相像，它们才发现自己原来是邻居。
通过运行一个前向模型、并用观测到的结果去修正它，从带噪声的测量里恢复出隐藏状态。动力学是给定的，不是学出来的，而且这里没有任何东西会问「如果我采取行动会怎样」。
五种定义
这些是合同，不是笼子。它们描述一个系统承诺了什么，而现代的工作经常在它们之间来回跨越。
按预测对象排序
更具体 ← 被预测的是什么 → 更抽象
它不是一个可运行的系统
这个词被用来指五种东西。其中四种是你可以运行的系统；第五种是关于系统内部有什么的断言。任选其一。
渲染器预测观测，通常是像素。GameNGen 以先前的帧和你的输入为条件生成 DOOM 的画面。据报道，Genie 3 能以 720p、每秒 24 帧生成可交互视频，能保持数分钟的连贯，还能接受会话中途的自然语言干预：换天气，加一群鸟。一致性是存在的，但它是通过生成学出来的，而不是由存下来的几何结构保证的。
仿真器预测可查询的结构。Marble 接收文字、一张图或者一个粗糙的三维布局，一次返回两种表示。高斯泼溅(几百万个彩色斑点，渲染起来便宜，但没有任何东西可以撞上去)负责外观。三角网格负责结构，其中包括碰撞网格(物理引擎真正会撞上去的那层看不见的几何)。World Labs 在 2025 年 11 月开放了限量测试，2026 年 2 月正式发布。英伟达开源了 Cosmos，它生成有物理感的视频，专门用作机器人和自动驾驶的训练数据。
Cosmos 是那个让整张地图保持诚实的例子，值得放慢速度看一看。英伟达把 Cosmos Predict 描述为生成式视频，而显式的三维仿真由 Omniverse 提供。把整个平台归到「仿真器」名下，你就把最值得学的那条区别藏起来了。
更广的教训是：平台不是一个类别。一个产品可以同时提供一个像素预测器、一个三维仿真器和一个以动作为条件的模型，而问「它到底属于五种里的哪一种」不会有结果。要问的是：他们卖给你的是哪一份合同，你即将对着哪一个接口开发。类别描述的是合同，而足够大的系统会同时签好几份。
渲染器 / 预测观测
仿真器 / 预测结构
动力学模型预测在动作条件下的紧凑状态和回报。PlaNet 在潜在空间里做在线规划；Dreamer 从穿过这套动力学想象出来的轨迹里学出行为。这里重要的不是它看起来有多真，而是你能不能在里面做搜索：试一百条可能的动作序列，给它们打分，留下最好的那条。
关于这个名字要提醒一句，因为它会绊倒之后去读原论文的人。Ha 与 Schmidhuber 的系统有三个模块，他们把第三个叫做 controller，也就是那个挑选动作的小策略。世界模型是它旁边的那个模块，是 controller 在里面做规划的东西。所以这一类指的是模型，不是控制器；把这一类叫做「控制器」，等于用那个明确不是世界模型的部件去给它命名。
表征模型预测嵌入向量(一串代表一张图或一段片子的数字，排列方式使得相似的东西彼此靠近)，然后把预测扔掉。I-JEPA 遮住图像的一部分，预测缺失部分的嵌入向量，而不是把像素重画出来。V-JEPA 2 在超过一百万小时的视频上做预训练，全程不涉及动作。第二阶段再后训练出一个以动作为条件的变体，用于模型预测控制(规划几步，执行一步，再重新规划)。Meta 报告说它能驱动一只从未在训练中见过的实验室里的 Franka 机械臂，并且规划速度比 Cosmos 快约 30 倍。把这个数字看作不同合同之间的比较，而不是一个排名。
注意第二阶段落在了哪里。以动作为条件、可以往前推演、可以在上面做搜索：这就是动力学模型的合同，只不过是从另一个方向抵达的。而这正是这些类别的用处。它们描述的是一个系统被训练来预测什么，而不是一种永久身份，成熟的系统会迁移。V-JEPA 2 从表征模型出发，在它上面长出了一个动力学模型。
内隐模型是另一种性质的断言。它讲的不是一个系统，而是在为完全别的目的训练出来的网络内部形成了什么。
最典型的结果是 Othello-GPT：一个只被训练来预测合法黑白棋走法、从未见过棋盘的 transformer，结果在内部表示了棋盘状态。这个表示可以被探针(一个小分类器，训练它从网络的激活值里读出某一个具体事实)读出来。对这个表示做干预，会改变模型接下来走的棋。Nanda 等人（2023）后来发现了一个与之密切相关的线性表示。没有人给这个模型一个叫做 world_model 的可调用函数。这个说法描述的是关于「别的系统内部出现了什么」的证据。
那个测试
你已经做过它了。
图 1.1 里有一个开关，写着保持世界不变。把它关掉，走开再回来，标记已经移动了。把它打开，标记就恰好停在你离开时的位置。
这看起来提供了一个区分这些系统的简单办法。
转过身。走开。转回来。还是同一个房间吗？
它应该管用才对。真正在内部持有一个世界的东西，应该能把家具留在你离开时的位置。只会画画的东西，应该做不到。
它不管用，而原因值得花一分钟。
通过这个测试有两条路。你可以把房间存在某个地方，等观看者转回来时再查出来，我那个开关做的就是这件事。或者你可以把「画出一个和刚才那一帧相符的房间」这件事练到非常非常好。
从外面看，这两条路一模一样。家具两种情况下都还在，而站在你的位置上，没有任何你能看见的东西告诉你刚才发生的是哪一种。
一个在大量视频上训练出来的大模型，学到的是第二条路。没有人给它一个房间去保管。它只是变得很擅长把已经开了头的东西继续下去，而保持一致正是「继续下去」的一部分。
所以这个问题没法用来分类。但还是要问，因为它指向的东西比它给出的答案更有用。
当你转身背对那把椅子，椅子并没有停止存在。它只是停止可见。这是两件不同的事，而这门课里几乎所有困难的东西都住在它们之间的缝隙里。
实际存在的那一整套，叫做状态。你此刻能看到的那一部分，叫做观测。
状态是世界底层的实际情况；原则上是完整的，但对身处其中的任何智能体都不会直接可见。观测则是智能体对那份实际情况的局部视角。
你永远拿不到状态。你拿到的是观测，然后必须从它们往回推。你背后的椅子、镜头外还在滚动的球、柜门是开是关：全都真实存在，全都看不见。从看得见的那一部分推出其余部分，这件事叫做部分可观测性，而第 2 到 6 章基本上都在讲怎么应付它。
这些都不是新问题。1943 年，一位剑桥的心理学家就描述过解法，那时还没有任何可以拿来实现它的东西。
如果有机体在头脑中携带着一个关于外部现实、以及关于自身可能行动的「小尺度模型」，它就能够试验各种不同的方案，判断其中哪一个最好，在未来的情境到来之前就作出反应……并且在方方面面都以更充分、更安全、更胜任的方式，去应对摆在它面前的紧急状况。
在头脑里带着一个世界的小模型，你就能在真正采取一个行动之前先试一试。这就是全部的想法，而地图上每一种定义，都是在赌这个模型里该装什么。
那个回路
有一个对象垫在全部五种定义底下。
环境有一个状态。智能体收到只揭示了其中一部分的观测。它从观测和记忆里构造出一个内部状态。一个模型预测事情可能怎样演变。智能体采取行动。世界发生变化。新的观测到来。
每一种定义都专精于这个回路上的某一段。把鼠标移到任意一个上面。
有三个问题直接从这里长出来，每一个都对应一章。
它该有多确定？ 把一个球扔到墙后面，然后问它现在在哪里。一个精确的位置是错误形状的答案，因为你确实无从知道。它可能撞到了什么东西，可能停在了路缘上，也可能还在滚。一个把单个确定坐标交还给你的模型，悄悄丢掉了「它其实是在猜」这件事。
PlaNet 的做法是同时携带两样东西。一个确定性部分(每次都用同样的方式算出来，所以它总是从上一个状态推出)承载那些可靠地从先前推出的东西。一个随机性部分(是采样出来的而不是算出来的，所以同样的输入可以产生好几种不同的未来)承载那些仍然可能往任一边走的东西。不确定不是失败。没有依据的确定才是。
你的动作会改变答案吗？ 接下来会发生什么和如果我推它一下会发生什么是两个不同的问题。只有第二个才让你在选择之前比较不同的选项。能回答它的模型叫做以动作为条件的模型(它被告知采取了哪个动作，所以它能回答「如果」，而不只是「接下来」)，而这正是控制所需要的。
它能往前推多远？ 一次预测很少就够了。要做规划，模型必须把自己的答案重新喂回去，再预测一次，再一次，全都叠在它刚刚编出来的东西上面。你要求的步数叫做预测步长。
把要问的东西从 换成，，而你手里仍然只有 的条件下，。
只有两处发生了变化。把鼠标移到任意一边看看是哪两处。
误差沿着这一段堆积起来。任何单独一步都没有出什么大事，而这正是它难以察觉的原因：模型永远只是稍微错一点。第一步稍微错一点，第二十步就可能到完全不同的地方去了。
目前还看不出差别。
已预测步数
1
当前偏差
0.0 个步宽
至今最大偏差
0.0 个步宽
Dreamer 的存在就是为了跨越许多想象出来的步骤去学出行为。DeepMind 则把长时程一致性列为生成世界的一个核心开放问题。同一个敌人，战场的两端。
现在回到那段短片。它是一个渲染器，而且你现在说得出为什么：它预测观测，它之所以能留住那个房间是因为它学会了这么做，而它内部没有任何东西承诺底下有几何结构。
下一段划过你时间线的短片，也会被叫做世界模型。有用的问题不是它是否令人惊艳，而是它属于五种里的哪一种，以及发帖的人说不说得出来。
只在五种中的某一种下成立的说法，这门课会说明是哪一种。
试试看
它接收一张厨房的照片，输出一个可以导入游戏引擎的网格，台面上还带有碰撞体。
这属于哪一种定义？
1它接收一张厨房的照片，输出一个可以导入游戏引擎的网格，台面上还带有碰撞体。
渲染器 · 仿真器 · 动力学模型 · 表征模型 · 内隐模型
答案 仿真器. 别的程序可以打开它并对它做计算。碰撞体就是关键线索：它们存在是为了让物理引擎去碰撞，而不是为了给你看。
2你正在看一个房间的摄像头画面。摄像头背后有一把椅子。这把椅子在哪里？
- a. 不在状态里，因为没有任何东西看得见它
- b. 在状态里，但不在观测里
- c. 在观测里，但不在状态里
- d. 两者都不在，直到摄像头转过去
答案 b. 在状态里，但不在观测里. 转过身并不会让家具消失。椅子是实际存在的东西的一部分，只是不属于你此刻能看到的部分。这门课里所有困难的问题都住在这道缝隙里。
3你按住一个键，它就一帧一帧地生成一座从未存在过的城市的视频，并根据你转向的方向作出反应。
渲染器 · 仿真器 · 动力学模型 · 表征模型 · 内隐模型
答案 渲染器. 它的输出就是画面。开车过程中画面也许一直保持一致，但底下没有任何东西必须如此，也没有一座城市可以交给别人。
4你转过身再转回来，某个系统让房间保持了原样。这证明了什么？
- a. 它把房间存了下来
- b. 它没有把房间存下来
- c. 单凭这一点什么也证明不了
- d. 它一定是仿真器
答案 c. 单凭这一点什么也证明不了. 通过这个测试有两条路，而从外面看它们一模一样。你可以把房间保存下来，也可以把它重画得非常准。结果相同，所以结果本身没法告诉你是哪一条。
5它只被训练来预测国际象棋对局中的下一步棋。研究者后来用探针检查，发现它在内部记录了棋子的位置。
渲染器 · 仿真器 · 动力学模型 · 表征模型 · 内隐模型
答案 内隐模型. 这里没有人造出一个下棋模型，也没有人能运行一个。这个断言讲的是在为别的任务训练出来的网络内部发现了什么结构，和其他几种断言在性质上就不同。
6一个模型每一步都稍微错一点。你把它自己的输出重新喂回去二十次。误差会怎样？
- a. 基本保持不变
- b. 大约翻一倍
- c. 会增长，而且不均匀，最后可能到完全不同的地方
- d. 步数够多以后会互相抵消
答案 c. 会增长，而且不均匀，最后可能到完全不同的地方. 每一个想象出来的状态都会成为下一次预测的输入，于是错误被叠在错误上面。任何单独一步都没有出什么大事，而这正是它难以察觉的原因。
7它遮住视频的一部分，学着预测被遮住那部分的一个摘要。训练完成后，预测被丢掉，剩下的部分被装到一个机器人上。
渲染器 · 仿真器 · 动力学模型 · 表征模型 · 内隐模型
答案 表征模型. 那个预测只是脚手架。训练结束后留下来的，是它学会的描述事物的方式，那才是产物。
8从预测一步变成预测 H 步，什么东西没有变大？
- a. 你要问的那一段未来
- b. 你必须提供的动作数量
- c. 你出发时手里已有的东西
- d. 可能出错的方式的数量
答案 c. 你出发时手里已有的东西. 无论你问多远，你仍然只站在一个地方，只有关于它的一次观测。问题变大了，证据没有。
9给定当前的传感器读数和你正在考虑的一个电机指令，它返回你接下来会得到的传感器读数。一个搜索循环每秒调用它几千次。
渲染器 · 仿真器 · 动力学模型 · 表征模型 · 内隐模型
答案 动力学模型. 小、快，而且它有用只是因为你能在还没执行过的动作下把它往前推演。逼真与否无关紧要；能不能在里面搜索才是全部意义。
10为什么卡尔曼滤波器算作前身，而不算五种定义中的一种？
- a. 它太老了
- b. 它的动力学是给定的，不是学出来的
- c. 它估计状态，但从来不会被问「如果我采取行动会怎样」
- d. 它只适用于线性系统
答案 c. 它估计状态，但从来不会被问「如果我采取行动会怎样」. 它把一半的工作做得极漂亮：从带噪声的测量里推出隐藏状态。它从来不做的是回答「如果……会怎样」，而以动作为条件正是让其余几种模型可以用来做选择的关键。
11历史上有一个阶段是拿掉了一个部件，而不是加上一个。是哪一个，为什么？
- a. 编码器，因为像素不再重要了
- b. 解码器，因为预测目标从像素上移开了
- c. 控制器，因为规划被放弃了
- d. 动力学，因为它变成隐式的了
答案 b. 解码器，因为预测目标从像素上移开了. JEPA 预测的是下一帧的摘要而不是这一帧本身，所以不再需要什么东西把预测变回像素。这也正是预测可以被丢掉、特征却留下来的原因。
12某个实验室生成高速公路驾驶的逼真视频，用来训练自动驾驶系统。它的宣传定位是机器人方向。
渲染器 · 仿真器 · 动力学模型 · 表征模型 · 内隐模型
答案 渲染器. 这是陷阱。面向机器人听起来像仿真器，但它的输出仍然是视频，没有任何人可以撞上去的几何结构。一个系统是给谁用的，比它交给你什么要弱得多的线索。也不是完整答案：一个大平台可以同时提供好几个接口，所以真正的问题是你即将对着哪一个接口开发。
13某个实验室称他们的系统能保持数分钟的一致性。你自己没法运行它。这条信息应该怎么记？
- a. 当作事实，毕竟是他们造的
- b. 当作对方的报告，而不是已经核实过的结论
- c. 在被证明之前当作假的
- d. 与分类无关，可以忽略
答案 b. 当作对方的报告，而不是已经核实过的结论. 这不是为了怀疑而怀疑。有些说法你可以自己打开验证，比如一个能加载的网格；有些你只能接收。分清哪些是哪些，是读这个领域的一部分。
多谢阅读。第 2 章会完整讲动力学模型：一个学出来的模拟器是什么，有了它能换来什么，以及这个想法为什么已经八十岁了却直到最近才好用起来。
参考来源
- A Functional Taxonomy of World ModelsWorld Labs, 2026First-party renderer/simulator/planner split, derived from the agent loop.
- A New Approach to Linear Filtering and Prediction ProblemsKalman, 1960The hidden-state ancestor. Paywalled.
- Recurrent world models for planning and curiositySchmidhuber, 1990A recurrent model predicting the consequences of a controller's actions.
- World ModelsHa & Schmidhuber, 2018The paper that popularised the modern label.
- Learning Latent Dynamics for Planning from Pixels (PlaNet)Hafner et al., 2018Raw pixels to stochastic latent state to online planning.
- Dream to Control (Dreamer)Hafner et al., 2019Behaviour learned from multi-step latent imagination.
- I-JEPAAssran et al., 2023Predicting representations of masked regions, not pixels.
- V-JEPA 2Meta AI, 2025Action-free pre-training, then action-conditioned control.
- Genie: Generative Interactive EnvironmentsBruce et al., 2024Action-controllable generated environments.
- Genie 3Google DeepMind, 2025Reports recalling previously seen detail over multi-minute interaction.
- MarbleWorld Labs, 2025Gaussian splats plus collider meshes: an explicit structural export.
- CosmosNVIDIAA boundary case: predictive video worlds beside explicit simulation.
- Emergent World RepresentationsLi et al., 2022Board state found and causally manipulated inside Othello-GPT.
- Othello-GPT has a linear emergent world representationNanda et al., 2023The follow-up that sharpened the finding.