世界模型和多模态模型的区别

经常看到有人说某个模型「既是多模态又是世界模型」，也经常有人把能看图能听声的模型直接叫世界模型。这篇不绕概念史，只做一件事：把两者的判断标准拆开，给你一套能直接套用的分类步骤，并说清什么情况下这个分类会失效、不用硬套。

经常看到有人说某个模型「既是多模态又是世界模型」，也经常有人把能看图能听声的模型直接叫世界模型。这篇不绕概念史，只做一件事：把两者的判断标准拆开，给你一套能直接套用的分类步骤，并说清什么情况下这个分类会失效、不用硬套。

先说结论：多模态模型讲的是「输入输出通道」，世界模型讲的是「内部有没有环境表征并支持推演」。前者是接口层的描述，后者是能力层的假设。把这两个维度混在一起比参数、比价格、比宣传语，必然谁也说不清。下面按「先分清维度，再给判断步骤，最后说任务和评估差异」的顺序来，每一步都有能动手做的事。

为什么这两个词老被混在一起

多模态讲的是「输入输出通道」，世界模型讲的是「内部有没有环境表征」，两者不在同一个维度上，所以经常交叉但不重合。一个模型可以只有文本接口但在特定任务上表现出环境建模行为；也可以有图像、语音、文本多种接口，但内部只做一次性映射，不维护任何随动作变化的状态。

媒体和厂商宣传里「能理解世界」是通用褒义词，导致任何多模态模型都能被贴上世界模型标签。读者真正的卡点在于：看到产品页写「世界模型」时，不知道该按多模态的价格买，还是按另一套评估标准看。先给结论：一个是接口层的描述，一个是能力层的假设，混着比必然谁也说不清。

多模态模型的判断标准：看它吃什么、吐什么

核心问题只有两个：输入支持哪些模态、输出支持哪些模态，组合方式决定它属于哪一类。常见形态包括图生文、文生图、图文混合理解、语音加文本等；同一家厂商不同型号的模态组合往往不一样。不要看宣传页上的模态图标，直接拿一个任务清单逐项打勾，比看图标靠谱得多。

• 不适用的情况：只做单一模态但内部有跨模态对齐训练的模型，按接口分类会显得别扭，这时要补一句说明。
• 判断顺序：先列输入模态，再列输出模态，最后问一句「它会不会因为一个动作改变后续输出」。
• 如果第三问答案是「不会」，那它就是一个纯多模态模型，跟世界模型无关。

世界模型的判断标准：看它有没有可推演的环境状态

关键不在输入通道多少，而在模型内部是否维护一个随动作变化的状态，并能对「下一步会怎样」做预测。典型特征是支持在内部做多步推演、动作与结果之间有稳定的因果对应，而不是只做一次性的映射。这两个特征必须同时满足，缺一个都不该按世界模型看待。

1. 第一步：能不能被动作改变给它一个动作输入（比如前进、抓取、切换参数），看内部状态是否延续、输出是否随动作变化。如果只返回同一类描述，说明没有可交互状态。
2. 第二步：改变后预测准不准在动作作用后追问下一步、再下一步，看它是否给出连贯且有因果关系的推演结果。只做一次映射的会开始重复或离散化。
3. 第三步：两步都过才谈得上如果第一步就不过，后面不用测。很多被叫世界模型的系统其实只做了视频续写或物理常识问答，没有可交互的状态，这类要降级看待。

不适用的情况：拿来做纯内容生成任务时，世界模型那套状态与推演能力用不上，反而会增加接口复杂度。判断顺序要记住：先问能不能被动作改变，再问改变后预测准不准，两步都过再谈世界模型。到「/ai-dict」和「/ai-dict/category/tech」可以查术语的原始定义，避免被宣传词带走。

三步对照法：拿到一个模型名怎么快速归类

第一步看接口：列出输入输出模态，先判定它是不是多模态；第二步看交互：能不能接收动作、状态会不会延续；第三步看预测：给一个变化，它输出的是描述还是推演结果。三步走完会得到四个象限：纯单模态、只有多模态、只有世界模型特征、两者都占，落到哪格决定你该查哪套资料。

• 对照表建议按「输入模态 / 输出模态 / 是否接受动作 / 是否多步推演」四列手写，一行一个候选模型。
• 四列里有一列拿不准就先标问号，不要用猜的结论去选型。
• 如果一个模型在「是否接受动作」这列填「否」，即使它模态很多，也只按多模态处理。
• 填完表后，把每个模型标一个用途标签，之后团队讨论直接看标签，不再重复争论定义。

不同任务该找哪一类：别用错工具

想识图、读表、转写、做图文客服，本质是多模态任务，按多模态维度挑即可。想做机器人控制、自动驾驶仿真、游戏环境推演、具身决策，才需要世界模型那套状态与推演能力。混合场景比如看图后要规划多步操作，要同时满足两套条件，缺一边效果就会掉，这时按短板挑而不是按长处挑。

反面提醒：如果你的任务只出现一次输入一次输出，硬上世界模型类方案通常是给自己加复杂度。判断方法很简单——把任务画成流程图，如果流程里没有「动作改变状态再预测」的环节，就不需要世界模型那套能力。涉及成本时不要拍脑袋，到「/official-api」和「/inference」核对当时的计费口径与开源比价。

评估方式不一样：跑分看得懂才不会选错

多模态模型主要看识别、描述、转换类指标的准确度与稳定性，评测集偏静态问答。世界模型类能力要看长程一致性、动作后的状态是否合理，单项准确率高不代表推演靠谱。不要拿一套榜单的分数直接横向比两类模型，口径不同，比出来的名次没意义。

• 先分清你要看的是静态问答榜还是推演一致性榜，两者不能混用。
• 多模态看「同一输入多次输出是否稳定」，世界模型看「多步之后是否仍符合因果」。
• 拿不准榜单口径时，到「/benchmarks」和「/benchmarks/registry」看口径说明再决定信不信。
• 具体分数和排名变化很快，不要截图保存当结论，用的时候去站内核对当时数字。

边界情况：什么时候这套分类会失效

模型同时具备多模态接口和状态推演能力时，两个标签可以并存，不必二选一，重点是分开写清各自满足到什么程度。纯文本模型在特定任务上表现出环境建模行为，但接口层仍属单模态，归类时要以接口为准并注明能力观察。厂商自定义术语和学术定义可能不一致，遇到冲突以论文或官方规格描述为准，不要以营销文案为准。

双重标签

接口多模态且带可交互状态，两个标签都写，但标注各自满足程度

接口优先

接口层是硬事实，能力观察是软判断，两者冲突时先写接口层

验证优先

能用动作和预测验证的才按世界模型对待，不能验证的先标问号

术语冲突

厂商定义与学术定义不一致时，以官方规格或论文为准

拿不准就按「能不能验证」处理：无法用动作和预测验证的，就先不要按世界模型对待。这条规则不完美，但能避免你在选型时被营销词牵着走。到「/tools/speed-test」可以测接口响应，到「/sites」可以核对站点资料，把「验证优先」变成可执行的动作。

落地动作清单：看完就能用

1. 建一张三列表列「模型名 / 接口模态 / 是否可交互推演」，把团队在用的模型填进去，一次填完以后不再反复讨论。
2. 给每个模型标用途标签标签用「识图」「转写」「规划」「仿真」这类动词，选购时按标签筛，不按宣传词筛。
3. 核对成本与口径涉及成本时不要拍脑袋，到「/official-api」和「/inference」核对当时的计费口径与开源比价。
4. 术语先查再问术语拿不准先查「/ai-dict」和「/ai-dict/category/tech」，比在群里问更快也更准。

• 把「接口模态」和「是否可交互推演」分开两列，避免混在一起讨论。
• 如果某列填不出来，先标问号，别用猜的结论去选型。
• 每月或每次模型更新后，重新核对一次表格，不用重写，只改变化项。
• 表格放在团队共享位置，谁选型谁先看表，减少重复争论。