因为“五米外”和“走路”在传统的大语言模型中是注意力强关联，洗车店和开车作为弱信号被忽略了。

    但是你问任何一个智力正常的成年人，都不太可能会在这道题上翻车。

    这就是语言模型在理解世界上的天然缺陷，而章闻铎的论文讨论的就是大语言模型和世界模型的关系。

    在学术界，研究世界模型的学者一直分为两派。

    一派认为现在的大语言模型这种基于语义的推理方向是个岔路，最终会走到死胡同，也就是说，做大语言模型永远也没办法做成世界模型。

    而另外一派则认为，语言是人类对世界的抽象，当大语言模型的能力进步到一定程度的时候，它也可以具备世界模型的能力。

    “死路派”和“殊途同归派”，两派在这个问题上争论不休，至今没有哪一派能说服了另一派。

    章闻铎自己就是“死路派”的，他对汤圆的质疑甚至都不是针对汤圆的，他对所有的大语言模型都有这抵触，觉得这些都是实现AGI道路上的歧途。

    他的理论提出了很多，但是理论需要验证。

    对研究者来说，最痛苦的事就是缺乏顶级模型的验证机会。

    而对中国的研究者来说，则有更大的一层障碍在。

    现在，境外最强的闭源模型们对中国大陆研究者几乎断绝，偶尔可以通过一些中转站测试一下，但是模型能力不稳定，不确定中间有没有夹杂多余的提示词，还无法进行大规模反复验证。

    而国内的顶级模型又还没强到能产生有意义的行为分叉。差一点的模型各种推理能力糊成一团，跑探针等于白跑。

    章闻铎之前的诸多理论假设，就一直停留在纯数学推导阶段，也只能拿着一个半成品去做论文答辩。

    而现在，汤圆向他敞开了大门。

    想到这，章闻铎迫不及待地打开了御风。

    在让探针调用汤圆的API之前，他先让御风帮他把那段已经写了将近两年的核心代码做几处适配改动。

    原本的探针是按照GPT规格的模型校准的，输出格式不太一样，他把几个参数调了调，让御风给他写一个格式转换层。

    这种事以前要花大半天，御风给了三个方案，他扫了一眼，选了最干净的那个，大概十分钟就完成了改动。

    他开始调用汤圆的API进行第一批实验序列。

    等待。

    终端开始输出。

    章闻铎坐在那，上身微微前倾，眼睛紧紧地盯着屏幕。

    前面几组结果都在意料之中。

    章闻铎没什么反应，这本来就是基准，连差一点的模型都能过的题，不算什么。

    从第十一组开始，是探针的核心序列。

    他设计了一套“状态追踪“题组：同一个场景，以十七种不同的表述方式喂给模型。措辞不同，信息顺序不同，中间插入大量干扰句，为的就是破坏语义的注意力机制。

    如果模型只是在做语义匹配，换了表面形式之后答案就会飘移。

    想要保证答案的一致性，需要模型在它内部维护一个“世界状态”，这样无论表面怎么变化，逻辑答案都应该保持一致。

    当然，现在的大语言模型都不会去“维护”这个状态，但是章闻铎想要探索的方向是：

    如果模型在训练过程中形成了稳定的因果结构表征，它就可以表现得“像”是有一个内部状态一样，输出得答案就应该保持一致。

    之前他在国外的顶级模型上进行过小范围验证，答案如他预料的一样，没有模型能够表现出这种能力来。

    然而汤圆不一样。

    终端里，汤圆的答案一条条输出，现在已经进行到了第十五组验证。

    前面几组验证数据的特征值已经远超章闻铎验证过的国外顶尖模型。

    而第十五组的最后一个变体，在插入了七条干扰句，汤圆依然输出了正确答案，并且在它的思考过程中还提示了更多的信息：“需要注意的是，尽管文中多次提及初始状态，但根据第三段的描述，该状态在后续已发生变化，正确答案应基于最终状态而非初始状态。”

    探针还在继续运行。

    但是章闻铎的心思已经不在屏幕上了。

    基于现在看到的这冰山一角的结果，他已经预感到了。

    汤圆作为一个纯语义训练的模型，理解世界状态的能力大幅高于他测试过的其他模型。

    这说明了什么？

    章闻铎抬头看了看窗外，时间已经从清晨到了上午，而他完全没有察觉。

    京城的天空今天是一片澄澈的蓝色，没有一丝云。

    那条他以为走不通的岔路，其实走得通。

    高质量的原始数据和语义标注对世界模型的方向也是有意义的。

    章闻铎的心里说不好