Jeff Dean们，赶在贝叶斯AI到来之前跳船

8月5日，Jeff Dean 宣布离开工作了27年的 Google，创办了一家名为 Discovery Loop 的公司。这个名字背后的野心，就是让 AI 进入一个持续运行的科学发现循环。

但上一周，一篇名为《LLM can't jump》的 Google DeepMind 论文也火了。

论文名字直译是「大语言模型不会跳跃」。这里的跳跃是爱因斯坦在给友人的信中提及的科学发现过程中的一环。

整个科学发现可以被视为：

感官经验 E → 通过跳跃得到公理 A → 从公理演绎出结论 S → 再回到经验验证。

科学家是从经验事实出发，通过一次无法被既有逻辑完全推出的跃迁，形成新的基本原则。然后再从这些原则演绎出预测，把预测放回经验世界中检验。

这个跃迁就是科学发现的关键。

Zahavy 的判断像是给 Discovery Loop 的宏大叙事迎头泼了一盆冷水。模型也许可以把实验自动化，可以沿着既有问题不断改进，甚至可以完成复杂的数学演绎，但它缺少科学发现最关键的那一步，从有限经验中发明一套此前不存在的基本原则。

一种流行的乐观解释认为，科学创造力本质上也是寻找更好的数据压缩方式，当旧理论无法简洁解释观测，系统为了降低预测误差，就会寻找更统一的新规律。

但 Zahavy 并不认同压缩能够覆盖科学发现的全部过程。他认为这只是人形成知识的三种模式之一。数据压缩本质上就是归纳，负责从数据中寻找规律。除此以外，还有演绎负责从前提推出结果。但真正改变科学框架的那一步跳跃，是从有限事实中发明新的解释原则，也就是 Abduction（溯因推断）。

而在作者看来，当下的模型是在结构上没有能力做到这一点的。

爱因斯坦所做的溯因推断，依靠的把模拟经验翻译成形式化公理。他先发现系统中无法解释的现象，再用自由落体、电梯这类思想实验去模拟，最终在这种反复的模拟过程中提炼出新的公理。

而当前LLM主要处理已经语言化的符号，它没有可行动控制的世界模型（action-controllable world model，可以通过动作改变环境状态的模型）用来去完成那些模拟的思想实验。

那么，Jeff Dean 和几位 Google AI 核心人物押上职业生涯，试图让模型通过长期交互、实验和自我修改不断进化，是不是就根本走不通了呢？

实际上，从当前模型的能力，到爱因斯坦级开创完全新问题域这样的水平之间，其实还隔着非常多层，比如一般研究者、能提出部分理论和修正的研究者。

当前的AI，甚至都没有能力成为一个真正的科学家。

《LLMs Can’t Jump》问的是 AI 能不能完成最后的跳跃。Jeff Dean 创业押注的，则是 AI 是否终于具备了走到那个悬崖前的条件。

在回答模型能否成为爱因斯坦之前，我们可能得先回答一个更现实的问题，今天的大模型，距离一个普通但合格的科学研究者，究竟还缺多少东西？

01、大模型的科学发现天花板，在跳跃前已经有了两层塌缩

一项研究在进入实验和验证之前，要进行两步，首先是确认「哪里存在一个值得研究的问题？」之后再确认「准备以什么方式解释或解决这个问题？」

现在有关于 LLM 科研品味的研究，针对这两个问题都有所研究。它们可以证明，今天的模型并不是走到跳跃那步才突然失去创造性的，而是在更早之前已经连续发生了两次收缩。

问题域的塌缩，始于缺乏怀疑和概念游戏

科学发现经常被描述成寻找答案，实际上，在许多重要研究中，稀缺的并不是答案，而是把某件事辨认为问题的能力。

当前 AI 科研系统的起点通常已经相当靠后。模型收到的是论文标题、摘要、相关工作、数据集和任务说明。研究对象已经被命名，目标已经被规定，现有方法的优缺点也被论文作者整理成了一套成熟叙事。

模型真正要做的，往往不是从世界中发现问题，而是在别人已经组织好的问题空间中继续写下一步。

在这个模式下，模型发现问题的能力会如何变化呢？

香港科技大学在5月发表了《AI Research Agents Narrow Scientific Exploration》对此做了一项大规模研究。作者使用包括AI Scientist、ResearchAgent、Co-Scientist、Agent Laboratory这四种主流的科研智能体框架和五种大模型，从 155 个研究区域中生成了 219,655 个研究想法，再把它们和真实人类的科研选择做对比。

这四种智能体框架都进行创新鼓励的设置。AI Scientist会进行多轮自我反思，ResearchAgent加入了分阶段规划与评审，Agent Laboratory让多个智能体讨论，Co-Scientist甚至引入了竞赛式假设演化。

但即使所有智能体都被明确要求寻找新颖、高影响力的方向，也可以主动检索额外文献，但模型的问题意识还是比较保守。

作者把每个方案拆成「研究什么」和「怎么研究」，再和种子论文比较。只有 10.5% 的 AI 方案提出了种子材料中没有的新研究问题，但 90.4% 引入了种子论文中没有的新方法。

换句话说，模型的新意大多不是根据现有情况，提出了新问题，而只是在局部换了解法。

比如已有工作正在研究 X，但当前方法在效率、鲁棒性或泛化上存在不足。我们可以引入 Y 方法、增加 Z 模块，再设计一组实验改善 X。

它通常没有首先追问：为什么 X 会成为问题？X 是否混合了两个完全不同的现象？当前衡量 X 的方式是否正确？有没有一个更重要的问题，在现有论文的表述中根本没有被看见？

这当然是正当科研。现实世界里的绝大多数论文，本来也不是爱因斯坦式的理论革命。问题在于，当这种结构成为压倒性的默认路线时，那问题空间本身就没有被充分打开。

它更倾向于接受读到的材料里包含的预设，即 X 是值得研究的对象，当前指标代表进展，现有任务边界是合理的。随后，创新被限制在如何用新技术继续推进 X。

检索和复杂 Agent 框架可以稍微帮助模型离开初始材料，却没有从根本上改变这种局部探索模式。

作者把这一现象称为 local elaboration（局部展开）。它说明模型擅长沿着已有研究向前展开，而不擅长拓宽科学探索的版图。

这和人类的深度研究其实正相反，人类的研究很多时候都起于冲突和质疑。

另一篇论文芝加哥大学6月的论文《Contemporary AI Lacks the Imagination to Diverge or Negate in Science》也证明了这一点。他们研究邀请了 121,640 篇近期预印本的作者，让模型根据研究者自己论文中的背景和科学谜题生成后续假设，最终有 6,749 位科学家返回 25,139 组评价。

研究发现，没有一个模型类别会自发提出 null hypothesis（零假设），即明确认为题目中的关系可能不存在。

而且他们提出的研究方向还高度趋同。非推理模型虽然可以生成多个假设，但多个假设往往共享相同的前提、因果方向和问题框架。

另一篇论文则更推进了一步。芝加哥大学7月发表的《Measuring the Gap Between Human and LLM Research Ideas》分析了模型会把哪一种知识不足定义成研究机会。

作者从 11,683 篇已在刊物上发布的人类论文中抽取参考文献，之后让不同模型根据这些参考文献提出新研究方案。

他们将科研提出的研究问题分为七大类：矛盾或谜题、解释缺口、适用范围错配、证据缺口、桥接机会、失败风险和资源瓶颈。

人类论文在这七种入口上的分布相对分散。按照论文图表，人类最常从解释缺口进入，约占三成，失败风险、适用范围和证据缺口和桥接机会各占一成多，发现矛盾和资源瓶颈稍微少些。

而模型端则出现了明显不同的形状。九种模型设置中，47.1%—64.2% 的研究动机被归为桥接机会，而人类只有 12.1%。

换句话说，给模型几篇相互邻近的论文，它经常把科研构思转化为一种关系判断，就是把彼此分离的文献、方法、理论或证据流重新连接起来。

而我们大家寄望能够更深挖结构、形成深层认知的推理型模型，反而似乎更容易走这条拼接之路。以 Qwen3-8B 为例，Thinking Mod下，其桥接型动机从约一半上升到七成以上。

芝大的论文其实也发现了这一现象，他们认为模型通常把科学任务理解成“在现有变量之间提出一个关系”，而不是重新设计我们观察世界的方式。

为什么模型会这么选，第一是因为AI把测量方式和实验条件当成了题外条件，它能看到的熟悉的都是文字，因此仅仅依靠已发表文献生成假设，最终只能进行 recombination（重组）。

而且，桥接和重组是最容易直接从文献中得到的结论。论文 A 已经有一个方法，论文 B 已经有另一套机制，两者还没有一起使用，于是连接它们就可以直接写成研究动机。模型看的是文献，这种方法甚至都不太用深入的进入文献即可提出新方向。

由此，模型不只是提出的新问题少，即使在已有问题中寻找缺口，它看见的缺口类型也明显偏窄。

目前的AI就像一个不敢否认前提，而且手里和脑子里都只有概念间联系的研究员。

解法域的塌缩，在于浅尝辄止和狭窄的想象力

问题一旦被确定，模型进入自己更熟悉的区域。

它可以迅速调用庞大的知识库，为同一个问题，它可以一口气给出十几种技术路线。但「候选数量多」不等于「解法结构多」。大量方案可能只是用不同材料执行同一类认知动作。

这些创新的第一个特点就是解法比较接近原点。

在《AI Research Agents Narrow Scientific Exploration》中，研究者测量了 AI 方案相对于起始文献的距离。他们把每条方案与五篇种子论文的语义中心进行比较，发现 AI 想法与种子材料的平均距离是 0.322，而后来真正引用这些种子论文的人类后续研究为 0.410。

无论使用单轮生成，还是加入文献检索、反思、多智能体讨论和假设竞争，AI 方案整体都更靠近起点。即便离种子最远的 Agent Laboratory，平均距离达到 0.382，仍远没有达到人类后续研究的水平。

这说明，模型明显倾向于近端科研搜索。它不是在所有可能的问题中寻找价值，而是在当前材料定义出的可见空间中，寻找最近的合理下一步。

这种搜索域的浅并不等于方案幼稚。一个技术上相当复杂的方案，也可能与起点非常近。方案可能涉及复杂架构和完整实验，但它改变的仍然只是已有路线上的一段技术配置。

除了解决搜索域「浅」以外，它还「窄」，而且特别容易被少数「新奇组合」吸引注意力。

这篇论文还测试了模型的 exploration breadth（探索宽度），即同一研究领域中，大量模型想法彼此有多不同。AI 想法的平均宽度是 0.554，人类论文是 0.599，模型整体低约 7.5%。这个差异并不意味着模型所有方案都雷同，但意味着让模型反复生成时，它占据的语义区域更集中。

但具体是怎么个集中的模式呢？

前面谈问题域的时候，论文《Measuring the Gap Between Human and LLM Research Ideas》提到模型喜欢从桥接的可能性出发去寻找研究问题。那对应的，它的解决方式也明显偏向 Synthesis / Unification（综合／统一）。

在这种方式中，模型做的就是连接、整合、调和或统一不同的文献、理论、证据、机制和方法。人类论文中，这类方法只占 5.1%，模型中则达到 22.5%—38.7%。在机器学习子集中，偏移更加夸张。不同模型的综合类方案达到 35.5%—70.7%，人类为 6.6%。

后续的原型聚类把这种偏好还原成更具体的研究算子。模型最常见的操作是整合，在模型输出中占 34.2%，在人类想法中只有 2.35%。而人类则更常先检查是不是哪个部件该换了，哪两件事不该混在一起，或者这个问题从一开始就没说清楚。

你能看到的最常见的AI科研解决路径，就是把两个不同的解决方法放进一个统一框架。

这种方案的新奇性，主要来自算子组合的新奇。已有对象没有以这种方式配过，已有模块没有被放进同一个系统，已有机制没有被用于这个场景。组合当然可能产生真正的突破，但是人类却并不被这个方法支配。

就是套用和组合，这又是对文献本身最容易的使用方法。

但就是这套套用和组合，模型也更喜欢用新奇概念，而不是深入文献本身去找机制、假设和证据。

这篇论文的作者发现，模型在使用统合方法时，虽然在语言上频繁提出「整合多篇工作」，但把方案和其 4—8 篇前序论文放进同一个嵌入空间后，人类方案反而更均匀地利用了多篇文献。兼顾文献中心位置、覆盖均匀度和是否被单篇论文主导的综合指标中，人类得分为 1.4662，Qwen 为 1.3345，DeepSeek 为 1.4237。

这说明模型就盯着一两个点、一两篇主导文章看，而非完整的在理解。

从对模型提出方法的概念分析上，我们也可以看出这种倾向。它们更喜欢拿一个最近流行、看起来到处都能用的技术当「万能插件」。比如看到扩散模型、多模态、上下文学习、测试时适应或者多智能体，就会想能不能把它接到眼前这个问题上，做成一个A+B的新方案。而人类研究者更常盯住的，则不是这些大而泛的技术标签，而是系统内部某个非常具体的环节。

也就是说，模型更习惯从现成技术库里挑一个模块接上去，人类更常从问题内部找到真正需要动刀的那个位置。

因此，模型方案的第二层限制，是创新算子分布狭窄。它能生成大量表面各异的技术方案，但这些方案经常由很类似的底层逻辑构成。

看起来是十条新方案，底层可能只是同一种加法操作换了十组技术名词。

这两个塌缩其实都发生在所谓「科学跳跃」之前。模型还没有走到需要创造新理论的关口，问题域就已经被现成文献框住，解法域又被热点技术、近端改进和组合模板占满了。

所谓不会跳，因此不只是最后那一步迈不出去，而是起跑线太窄了。

今天的模型更像一个长期困在概念世界里的研究者。它读过无数论文，熟悉所有流行术语，却很少真正守着一个异常结果反复琢磨。

遇到问题，它第一反应不是追问哪个前提出了错，而是从工具箱里翻出一个现成方法接上去。不是耐心积累失败、冲突和局部经验，而是选择认知上最省力、文本上最容易成立的路线。

它读得多、写得快，也很会把方案包装完整，却没有一个研究者被现实反复打脸之后，慢慢沉淀出来的那套执念、偏见和问题意识。

所以，模型还远不是站在像爱因斯坦那样，面对着解释的悬崖，而是一直在图书馆的索引卡之间抄近路，从没真正走到悬崖前。

02、模型缺乏创造力的机制，都在被Agent的进步补齐

前述的研究提出了诸多的问题，但并没讲清楚其原因。

答案可能分别对应三种底层机制的缺失：缺少能够反驳概念的现实，受到近端优化的强烈牵引，以及缺少一套持续存在的局部信念。

缺乏现实的锚点，去摆脱概念的游戏

当前多数科研构思实验，采用的基本形式都是论文进、方案出。

模型读到的是整理过的实验结论。研究对象已经被人类命名，变量已经被抽取，因果关系已经被写成论文语言。它接触到的是经过科学共同体筛选和压缩之后的世界。

这与真实科研面对的对象并不相同。

一篇论文呈现的是最终能够说清楚的结果，现实科研中更常见的，却是暂时说不清楚的东西。比如同一机制在不同条件下方向相反，某个被认为无关紧要的变量总在干扰实验。

研究者并不是先拥有完整概念，再去世界中寻找例证。很多时候，正是世界持续不配合，才迫使研究者发明新的变量、重新划分对象，或者承认原问题问错了。

而在纯文献环境中，现实已经被翻译成了概念。模型能操作的主要对象，就是论文里已经出现的那些名称和关系。

《Contemporary AI Lacks the Imagination to Diverge or Negate in Science》认为，只从已发表文献中产生假设的系统，最终很容易继续重组已有知识。

科学 Agent 必须把新的测量、仪器、干预和自然实验也视为假设空间的一部分，主动寻找违反自身预期的观测。只有真正「伸手进入世界」，系统才可能扩展文献，而不是重新压缩文献。

甚至负面的材料更重要。公开科学语料主要记录「什么成立」，大量没有效应、无法复现、已经试过但行不通的 negative knowledge（负面知识），往往留在失败实验、废弃笔记和实验室内部的经验中，并没有进入训练文本。

仅靠平铺的文献，也很难恢复某个结果原本应该怎样的 expected contrast（预期对照结构）。作者因此判断，只从已发表文献生成假设的系统，很容易被限制在已有知识的重新组合中。

这里缺少的，是一种来自模型之外的认识阻力和现实细节。

在文字世界里，一个方案是否成立，首先看它能不能被已有概念说通。现实世界想要获得一个结论需要对现实进行实验并重复调整。

这种阻力很重要，因为它不仅淘汰错误答案，还可能迫使系统更换描述问题的语言。没有这种外部冲击，模型最多是在既有词汇中调整关系。而有了现实中无法被现成概念吸收的剩余，才可能需要创造新的研究对象。

它知道大量关于世界的说法，但世界很少以一种不由它决定的方式回来告诉它：你使用的对象、变量和关系，本身就不对。

这解释了为什么模型容易陷入桥接和重组。因为在纯概念环境中，最自然的创新方式，就是重新排列已有概念。

文献提供什么，模型就连接什么，而文献没有留下的失败、异常和不可言说之物，也就很难进入问题域。

那怎么提供这些文献外的领域呢？

谈到模型缺少现实世界，很容易直接跳到必须让它像人一样看视频、摸物体，在连续的三维空间里学出一个完整世界模型。

但如果引入 Allen Newell（艾伦·纽厄尔）代表的符号主义路线，问题未必只有这一种答案。

Newell 和 Herbert Simon（赫伯特·西蒙）提出的 Physical Symbol System Hypothesis（物理符号系统假说）认为，一个能够建立、组合和操作符号结构的物理系统，原则上就已经具备实现一般智能行为所需的条件了。

这里的关键是系统能否把符号组织成对当前世界状态的表示，并通过搜索和操作这些表示来决定行动。

沿着这条路线，可以得到一个相对弱、却很实用的判断：模型不一定非要先拥有一个由像素、视频和三维几何构成的完整世界模型。只要它能够持续接触到足够可靠的「行动—结果」符号轨迹，也有可能逐步形成一套关于局部世界如何运转的模型。

比如，一个科研 Agent（智能体）并不需要直接感受实验室里的温度。仪器给出的温度读数、试剂剂量、操作顺序和反应结果，本身就可以成为符号。

这些轨迹与普通论文文本有一个根本区别。论文告诉模型别人如何描述世界，但交互轨迹则告诉它做了什么，世界随后发生了什么。

从这个意义上说，符号不再只是悬浮在文本中的概念，而是被接到了行动后果上。

而这正是当下 Agentic RL（智能体强化学习）正在提供和完善的东西。标准语言训练主要让模型根据已有文字预测下一个词。智能体强化学习则让模型在环境中反复经历「观察—行动—新观察—反馈」的循环。模型不仅要生成解释，还要选择行动，并承担行动改变环境之后的后果。

更直接的工作已经不满足于只奖励任务最后是否成功，而是明确要求模型从交互轨迹中学习环境本身。

这也是当下Agentic RL最强调的方向，即完整工作轨迹的提取和训练。

它似乎也确实可以构建出某种真实世界的认知。

26年6月上海AI Lab发布的 EnvRL就 认为，一条 Agent 轨迹中包含的不只是成功或失败，还隐藏着环境的状态转移规律。它因此给强化学习增加了两个任务，一是根据当前状态和行动预测下一状态，二是根据前后状态反推出中间发生了什么行动。

加入这两项训练后，模型在 ALFWorld 和 WebShop 等长程交互环境中都比只使用任务奖励的强化学习表现更好。

从这个角度看，Agentic RL 的意义并不是简单教模型多用几个工具，而是在建立最基本的现实 Loop，模型采取行动，环境返回一个不由模型决定的结果，这个结果再改变下一次行动。

它仍然可能只是符号层面的世界模型，却已经不同于论文内部的概念游戏。

近端优化让模型总在抄认知上的近路

现实缺失解释了模型为什么被困在概念世界里，却还不能解释上面论文中的另一个现象，即使给模型更多时间、更多推理、它也没有逐渐把问题想深入。

这背后可能是一种很根本的「抄近路」机制。不论是前面提到的「局部展开」，还是模型在解法上寻求快速拼接，都共同指向一种明显的近端优化倾向。

现在模型所用的自回归模型确实有一种结构上的近端偏向。因为它必须一个词一个词地作出选择，一条陌生而漫长的路线，需要连续多次选中低概率分支才能最终显出价值。因此远端的路线天然更难被完整走到。

但这种倾向最大的放大器，其实来自后训练。

现在常用的 RLVR（基于可验证奖励的强化学习）并不是先让模型把所有可能路线都探索一遍，再从中找到最好的。它的实际做法是：先从模型当前最容易生成的答案里采样，答对的就提高概率，答错的就降低概率。这样一来，原本就比较常见、又偶然成功的路线，会在下一轮更容易被采到，也更容易再次得到奖励；那些概率较低的路线，还没有机会证明自己的价值，就会变得更难出现。

斯坦福在去年7月的论文《The Invisible Leash》发现，RLVR可以稳定提高 Pass@1，也就是模型一次作答时的成功率。但从大量采样来看，训练后模型能够覆盖的答案范围往往是在缩小的。

模型每一步使用的词可能显得更多样，但实际上最终答案却集中到了更少的类型上。后训练更像是在已有解法中不断押注赢家。

同样是25年的论文《The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models》则进一步解释了这种集中怎样发生。

训练早期，模型的策略熵通常会迅速下降，也就是原本分散在不同路线上的概率，越来越集中到少数路线上。之后探索能力随之下降，性能也较早进入平台期。

那些原本概率较高、又得到正奖励的token会获得更强的强化，下一轮更加占优，形成「越容易出现，越容易被奖励。越被奖励，越容易出现」的锐化循环。

因此当下模型被训练的倾向于尽快交出一个好方案，而不是强化耐心弄清楚这个问题到底是什么结构。

而真正深入的研究路线却经常相反。它在早期可能只有一个模糊异常，没有完整方法，也不知道应该用什么指标验证。但要理解问题背后的结构，研究者可能必须去设计一些短期不能提高结果的实验。

如果说缺乏现实，是让模型没有足够的经验去了解可能性。近端优化就是限制了模型本身已有的潜力。

浅，是因为系统倾向于在已有文献附近尽快获得可评价的进展。窄则是因为整合、适配和模块替换最容易形成稳定反馈。

既然近端优化本质上是自回归的一个特性，那这岂不是没有救了？但其实从预训练模型内部看，情况并没有这么悲观。

25年9月，卡梅隆大学的论文《Internal Planning in Language Models》分析了模型输出前的隐藏状态，发现模型内部确实会保留一些尚未被最终采用、但同样正确的后续分支。它的规划距离会随任务变化，并不是始终只编码下一步。

也就是说，基础模型里可能已经存在一些岔路，只是这些岔路不一定会在最后被选中。

所以，如果我们选择不太一样的后训练方式，在同一种架构在不同数据、目标和训练设置下，完全可能学出不同程度的前瞻能力。

虽然它依然可能有极限，但也可能远超当下的水平。

比如前面那篇熵机制研究中，作者还为了抑制模型的锐化冲动，限制那些最容易导致概率集中的更新。事实证明它确实可以保留更多探索，并提高最后的任务表现。这说明至少一部分越训练越窄，来自具体的强化学习更新方式，而不是模型不可改变的本性。

但现实是，现在很多自动科研系统的外循环，本质上仍是局部爬山。提出一次修改，运行实验，如果指标提高就保留，如果没有提高就丢掉，再从当前最好结果继续改。

这套办法非常适合目标明确、反馈快速的工程优化，却容易错杀真正复杂的研究方向。

多伦多大学5月的论文《GEAR》就对Karpthy 大火的 AutoResearch 做了更深层的实验，发现这种形式的自进化，只会保留当前最好的程序，当一个实验没有立即超过当前最佳，就会被丢弃。这会一并丢掉部分成功的想法、互补的局部方向和失败实验留下的信息，并很快停在一个局部最优。

因此，GEAR 改为同时维护一组研究状态，每个状态都保存代码改动、实验结果和模型对失败的反思，再允许不同分支继续演化或重新组合。在相同实验预算下，保留多条分支的系统仍能继续取得进展。

在此之外也有各种相关防止近端优化的方法，比如 Sakuna AI 的 Darwin Gödel Machine（达尔文哥德尔机）不再只维护一个当前最强 Agent，而是保存一个不断扩张的 Agent 档案，从不同祖先出发产生变体，让多条谱系并行发展。

作者强调的核心也不是某一次修改，而是让早期发现的不同 Agent 成为后续进化的 stepping stones（垫脚石）。

不过，这项工作改进的主要是冻结大模型之上的工具、工作流和 Agent 代码，并假定编码基准上的成绩能够代表自我改进能力，还没有证明这种开放搜索可以扩展到基础模型训练或开放科学发现。

而今年7月，南洋理工大学的 IDEAgent 又把科学构思直接定义成 Quality-Diversity Search（质量—多样性搜索）。

在这套系统中，模型的目标不再是生成一个最高分点子，而是在有限预算下保留尽可能多条彼此不同的研究方向。它维护不同阶段的想法档案和谱系，并衡量一批结果中到底有多少条真正值得继续追。实验表明，这种设计确实能比普通单轮生成和反思基线，留下更多彼此不同的高质量方案。

所以，这个方向不是还没有人想到。恰恰相反，如何扩大潜在支持集、保护低概率分支已经成为自进化研究的核心战场。

以上这些是在Agent层面下功夫，在脚手架和外部循环上持续优化的路径。也有其他试图去修改后训练的训练奖励或优势函数，奖励低概率但有价值的路线。

而当下影响比较大的还是DGM还是RHI（自进化Harness），包括可能更限制在外部持久状态更新的 Loop Engeniring。这主要是因为科研探索的奖励函数还没有成熟到值得写进模型。冻结模型、调整脚手架，便宜、可回滚、可观察，也允许暂时保留多个互相冲突的方向。

而且直接后训练则成本更高，一旦奖励定义错了，还可能把错误的科研品味固化进整个模型。

即便如此，它们现在还都是在实验室中的尝试，并没有完全形成有效范式，也远未被上面实验中测试的主流模型后训练完全吸纳。

它们虽然没有直接修改基础模型的权重，但都在模型外面完成了同一项工作。把一次性的答案生成，改造成一段可以分叉、回退和重组的搜索历史。

Loop 在这里提供的，不是更聪明的单次答案，而是让一个想法有机会活过第一轮失败。

缺乏一套自己长期相信的「偏见」

现实能够提供意外，长期探索能够让系统不急于收敛。但意外要成为科学问题，还需要一个前提，就是系统原本必须对结果有所期待。

看到一个数字与预期不同，并不自动等于发现异常。研究者必须先有一套关于局部世界如何运转的判断，才能知道这个差异意味着什么。

一个长期研究某项问题的人，脑中并不是平均存放着整个学科的全部知识。他会逐渐形成一套非常具体的工作信念：哪些变量最重要，哪些机制更可信。这些判断未必正确，甚至可能带有强烈偏见，但它们让研究者能够作出具体预测，也让现实有机会真正反驳他。

大模型拥有的是范围极广的语言先验。它知道大量理论，也能在不同解释之间灵活切换。这种灵活性在回答问题时是优点，在科学研究中却可能成为一种缺陷。因为无论实验出现什么结果，模型通常都能立即找到一套事后说得通的解释。

当 A 上升时，它可以说机制 M 起作用，当 A 没有上升时，它也可以说存在抵消效应、边界条件或隐藏变量。它拥有很多可能的解释，却没有一套在本项目中被持续押注、能够因预测失败而真正失去可信度的解释。

而有效怀疑必须要更进一步。比如说「根据机制 M，在条件 C 下，干预 A 应该导致结果 B；现在 B 没有出现，因此 M 依赖的假设 H 可能有问题。如果 H 不成立，原先的解释和实验设计都需要重做。」

这里包含一整套局部信念、一个由此而来的明确预测、一次预测违背，以及违背之后需要付出的理论代价。

这就是模型缺少的局部信念机制，也只有在这种信念之下，模型才能真正提出框架性的怀疑，跨出文献概念的范畴，试图去寻找新的路径解释。

芝大论文《Contemporary AI》提到模型缺乏 expected contrast（预期违反），实质上已经触及这一点。模型之所以很少提出有意义的零假设，就是是因为它缺少关于「这个领域原本应该发生什么」的持续局部认识。

芝加哥大学的论文把更深一层的能力称为 computational curiosity（计算好奇心）。系统不只是生成最符合已有语料的解释，而是主动寻找异常、矛盾、缺席，以及知识增益最大的下一次观测。它关注的不是已有共识的中心，而是自己的预测最可能失败的边缘。

但计算好奇心不能凭空出现。一个系统只有先形成局部信念，才能计算什么是异常。

模型要形成一套属于当前项目的局部信念，至少得连续保留三类东西。一是自己此前相信什么，做过哪些实验，二是这些实验为什么成功或失败的分析，三是是过去的结果必须改变它下一轮的判断。

否则所谓长期记忆只是一本越来越厚的实验日志，模型每次遇到新问题，还是会重新调用通用知识，临时编出一个听起来合理的解释。

人类研究者的信念通常就是这样长出来的。做得越久，他越知道哪些方向已经试过，哪些失败只是参数没调好，哪些失败说明整个机制可能不成立。由这些知识中，他也会逐渐形成一些很具体的预期。正因为有这些预期，现实没有按照预期发生时，他才知道哪里值得怀疑。

去年七月，图灵研究院和MIT共同搭建的 AutoDiscovery 系统已经在尝试把这种「被结果改变」的路径放进科学搜索里。这个系统试图能让新的实验结果，确实的去改变模型原来的看法。

它先让模型判断一个假设有多可能成立，再跑数据分析，最后看结果让模型的判断变化了多少。变化越大，说明这项结果越出乎意料，也就越值得继续追踪。系统据此选择下一批假设，而不是只追求更多显著相关性。

这个变化被定义为 Bayesian surprise（贝叶斯惊奇）。

在21个涉及行为科学、经济、生物和金融的真实数据集上，AutoDiscovery比其他搜索方法多找到5%—29%的「惊奇发现」。在人类评估中，其中约三分之二也会让领域专家感到意外。

这比「找到相关性就算成功」前进了一步。它开始把科学探索理解为优先寻找那些能够改变当前认识的证据。

但初版AutoDiscovery还没有真正形成连续的局部信念。它在评估每一个新假设时，基本仍然调用同一个静态的大模型先验。前面已经完成的实验，并不会充分改变后面判断什么算意外的基准。

因为在当时还没有现在这么完善的记忆性Harness。

而发表在2026年6月的《Evidence-Informed LLM Beliefs for Continual Scientific Discovery》已经具有了这样的Harness。它会把此前已经得到的证据重新找回来，交给模型，再让模型判断新的假设是否意外。

这样一来，模型每做完一轮实验，下一轮的「常识」都会随之改变。

原来按照静态知识判断为惊喜的结果中，有 37.5% 在加入此前证据后，其实已经不算新发现了，只是旧结论的顺势延伸。系统过滤掉这些「假惊喜」，把搜索资源投向仍然真正未知的部分以后，五个领域中累计获得的有效惊喜平均提高了 30.62%。

作者发现，仅仅把静态惊奇换成动态惊奇，并不会自动提高发现效率。真正带来提升的，正是让新的信念状态继续参与后续搜索。

这说明，局部信念不是给模型增加一个更长的资料库，而是让它拥有一段会改变今天判断的私人研究史。

昨天的发现应该成为今天的常识。昨天排除的路线，今天不该重新从头尝试。一项实验如果削弱了某个解释，下一轮就不能继续把它当作同样可信的候选。

只有做到这一点，多轮实验才会累积成研究，而不是许多彼此独立的问答。

但即便是到了这一步，当下模型已经开始积累形成了一些以单系列实验为主轴的局部观点，它通常还是只是在一套固定的概念里改变概率，并未触碰到跳跃发生的点。

但无论如何，AutoDiscovery 已经让实验结果开始影响搜索，而Evidence-Informed Beliefs 让过去的发现真正改变后来的判断。

目前为了Agent能够更好的学习而准备的记忆和短期参数迭代技术，最终会让这种贝叶斯路径拥有足够的技术基础。

到这里，Loop 又多了一层含义。它不只是反复做实验，而是要求昨天的实验改变今天的先验。只有当每轮结果都留下认识后果，循环才不再是机械重复，而开始接近真正的科研积累。

03、贝叶斯的 AI 在门槛上，真正的跳跃还在那之后

根据上面的分析，到现在我们可以确认，Jeff Dean 押注的不是「多循环几次就能突然变成爱因斯坦」，而是 Loop 正在把无记忆、无现实、无连续信念的语言模型，变成一套至少能够长期积累认识的系统。

回头看这一轮 Agent 的进展，最有意思的地方在于，许多技术最初并不是为了「AI 科学家」设计的，却正在一点点补齐科学研究最基础的条件。

长期记忆和 Harness（智能体运行框架），让模型能够保留一段只属于当前项目的研究史。测试时训练、短促的参数更新和不断积累的Loop架构，则让这些经历不只是躺在档案里的旧记录，而能够暂时改变模型下一轮如何理解问题。

Agentic RL（智能体强化学习）进一步把模型带出纯文本世界，让它真正经历「采取行动—世界发生变化—得到新结果」的循环。成功留下证据，失败也留下关于环境边界、行动后果和错误假设的信息。

这些能力一旦接到一起，模型就可能第一次拥有一种过去并不稳定存在的东西，围绕一项具体研究，不断变化的局部信念。

这就是真正意义上的「贝叶斯 AI」开始出现的地方。

这可能正是 AI 科学家在完成真正跳跃之前，首先必须达到的阶段。

AI 首先要学会做一个好的贝叶斯主义者，维护假设，作出预测，进入现实，保存失败，根据证据更新自己，并让这一循环持续足够长。

在这时，所谓的科研才真正成为可能。自进化也不再是泡影。

而跳跃发生在这之后。

真正的理论突破，发生在局部贝叶斯循环长期无法收敛的时候。所有现有解释都需要越来越多补丁，预测误差始终无法消失，新的证据不断积累，却没有任何一个候选模型能够真正容纳它们。

此时需要改变的，就不再是哪一个解释的概率，而是候选解释的集合本身。系统必须引入新的变量，拆开原来的研究对象，重新定义测量，或者发明一种此前根本不存在的描述方式。

但这仍是下一阶段的问题，也是先需要贝叶斯系统才有可能去解决的问题。

Jeff Dean 之所以仍然押注自进化 Loop，不是因为循环本身能够制造科学跃迁，而是因为 AI 甚至还没有成为一个能够长期积累经验、维护假设并被现实改变的贝叶斯研究者。

研究已经指明了方向，大厂也在补足Agent的基石。

那当下，就是贝叶斯时代的开端，也是模型将最快发展的时代。

Jeff Dean们现在跳船，恰逢其时。