刚刚，Anthropic发现Claude“长出”意识，谷歌DeepMind科学家点赞

智东西7月7日消息，今日凌晨，Anthropic一篇论文证明，他们能看到Claude“内心想法”了！ Anthropic新研究发现Claude内部存在和人脑高度相似的区分机制：仅有一小部分内部信息能像人类的有意识想法一样被调取思考，大部分运算都在底层自动运行。 在底层运行的区域就是J空间。用一个例子来说，当Claude回答“那种会织网的动物有多少条腿？”时，虽然其答案只有数字8，但J空间里会出现“蜘蛛”的概念。 J空间是Claude进行多步骤推理、回答主观描述类问题、胜任较高层次思维任务的关键，并且该机制非人为设计，而是模型在训练过程自然涌现的。 此外，研究人员还发现，其可以改变Claude J空间中的内容，从而人为干预模型的输出结果。 谷歌DeepMind可解释性研究团队负责人尼尔·南达（Neel Nanda）称，这是一篇极具价值的论文，文中提供了充分有力的证据证明大模型内部存在某种“认知空间”，他们已在Qwen3.6-27B模型上复现了该论文的全部核心结论。 Anthropic发布了包含这些核心方法的开源代码库，并与Neuronpedia合作，提供了基于开放权重模型的交互式演示。 交互演示界面： https://t.co/hkmYl0IOn2 01. 大模型也有类人脑意识空间 具有五大特性 对于人类而言，在阅读时，人类大脑的神经回路会调整姿势、控制呼吸，同时将屏幕上的文字和符号转化为人类能理解的词语，这些过程往往是无意识的。不过大脑中发生的部分活动，人类是能够感知到的，比如脑海中突然浮现的画面或是规划的购物出行路线。 神经科学家与哲学家有时会将后一类大脑活动称作“意识可及活动”，以此区别于其余所有无意识开展的信息处理过程。人类可以对这类活动进行描述、主动调控，并借助它开展逻辑推演。 Anthropic的新论文中，发现在Claude这样的现代语言模型中，也有类似的区分。Claude内部形成了一组特定的神经模式，相较于模型其余所有内部运算过程，这组神经模式承担着特殊作用，也就是人类大脑活动的“意识可及活动”。 Anthropic将Claude的这些神经模式集合称为J空间。每一种J空间模式都对应一个特定词汇，但当某一模式被激活时，并不代表模型要输出这个词，仅说明该词汇正处于模型的思考范畴内。 不过，J空间并不是大语言模型在推理时给自己写的“草稿”或思考过程，而是依托模型内部神经元激活静默运行，无需生成文字，就能让模型对某个概念展开思考。 值得注意的是，J空间并非人为设计、代码预置的产物，而是Claude在训练过程中自发涌现出来的。 ▲J空间能够揭示那些在模型输出中无法体现的内在思维过程 研究人员将这一现象与神经科学领域的“全球工作空间理论”相提并论。该理论认为大脑就像一座剧院：后台有数十个专门的处理单元在同时工作，但任何时刻都只有一小部分信息会被传递到“整个剧院”中。 这也证明Claude的内部结构并非毫无秩序的数字堆砌，而是自发形成了一套规整架构，运作模式和人类大脑的思维逻辑颇为相似。 J空间的特性在于： 1、Claude能够读取并输出J空间的表征信息。例如，人想买奶茶等想法能清晰说出口，对应J空间；而下意识的内心活动，人类很难将其清晰表述出来，对应非J空间表征。 2、可以根据需求调整模式。如果让Claude专注思考某件事，或是在内部静默推演问题，它就会激活J空间里对应的神经模式，但模型很难自主调控非J空间的表征。 3、模型依靠J空间完成内部推理。当让它求解多步骤问题时，即便不把中间步骤输出出来，对应的思维过程也会在J空间中激活。尽管这类J空间表征的信号强度弱于模型其他内部表征，但它们是主导模型完成任务的关键。 4、J空间内的表征可灵活适配各类任务。如“法国”这个概念在Claude的J空间中被激活，模型就能调取相关衍生信息，比如法国的首都、本国货币以及所属大洲。 5、语言模型的绝大多数运行过程并不依赖J空间，如输出文本、调取基础常识、规范运用语法等操作都无需J空间参与，被限制调用J空间，模型仍能正常对话，只是丧失了高阶认知能力。 ▲J空间的五个特性 02. 没有J空间 Claude将丧失多步骤推理能力 研究人员通过具体的问题拆解了J空间到底能做什么。 他们输入一个问题：“那种会织网的动物有多少条腿？”在回答这个问题时，Claude需要先判断出这种动物是蜘蛛，然后再记住蜘蛛到底有多少条腿。 Claude最后的回答只有8，没提到蜘蛛。研究人员发现，在Claude处理信息的过程中，“蜘蛛”这个词会被高亮显示出来，他们把“蜘蛛”换成“蚂蚁”，Claude的回答就会变成6。 Claude在推理流程的第二步会读取J空间的内容，并完全依照研究人员植入其中的概念展开推演。 ▲通过交换J空间中的内容来改变Claude的推理结果 此外，J空间具有灵活性。 研究人员向Claude分别询问法国的四类信息：首都、官方语言、所属大洲、流通货币，随后他们在J空间中将“法国”替换为“中国”，最终其依次给出答案：北京、汉语、亚洲、人民币。 ▲一种J空间表示法有多种用途 四项答案同步发生改变，证明它们读取的是同一套共享表征。这正是工作空间的核心作用：信息只需写入一次，就能供多个不同运算模块调用使用。 这说明J空间和整个神经网络几乎所有模块都连着，能读写J空间的模块数量，比普通表征高出差不多100倍。 那除了J空间，神经网络的其他部分都在做什么？ J空间一次只能存储几十个概念，其所占用的计算资源不到Claude内部处理总资源的1/10。研究人员尝试完全删除J空间，他们在文本中的每个位置，都移除其中最活跃的内容，保留其他内容不变。 Claude依然能流利说话、分析情感、回答选择题，以及从文本中提取信息，能力与之前差不多。不过，它无法胜任那些需要较高层次思维的任务，多步骤推理能力几乎为零，而总结内容和创作押韵诗歌的能力远低于另外结构完整的较小规模模型的水平。 03. Claude会直接从J空间获取答案 研究人员可人为干预 想要明白J空间的发现过程，需要先明白一个概念，也就是Anthropic研发的分析工具雅可比透镜（Jacobian lens，J透镜）。 针对Claude词表中的每一个词汇，J透镜都能定位出对应的内部激活模式，只要该模式亮起，就代表模型当下正在思考某个概念，其后续就更有可能提到这个词，并作为文本输出。 研究人员将J透镜作用于Claude的内部运算信号后，就能直接读出一组词汇，这便是该时刻J空间中承载的思考内容。研究人员对Claude进行文本处理的多层网络进行了分析。 他们发现，J空间浮现的内容，要远大于Claude正在读取或输出的文字。 当Claude读到一段暗藏漏洞、且无人提示报错的代码时，它的J空间里会出现“错误”这一概念；当它读取一串蛋白质原始序列字符时，J空间中会浮现该蛋白质对应的生物功能；一道多步骤数学题的解题中间步骤会按正确顺序依次出现在J空间内。 ▲J透镜对六个不同的输入进行了分析 研究人员的第一组实验，研究了J空间在Claude口头表达中的作用。 他们让Claude在内部默想一项体育运动等，随后说出其名称。在Claude给出回答前用J透镜读取其内部状态，就能看到它选定的目标：列表首位是“足球”，其最终答案确实是“足球”。 为进一步验证，研究人员删除了Claude神经网络与“足球”相关的模式，然后插入了与“橄榄球”相关的模式，其他部分不变。随后，Claude回答它所想到的运动是橄榄球。 这证明，Claude的回答确实是直接从J空间中获取的。 ▲为Claude植入橄榄球模式 第二组实验中，研究人员告诉Claude，可能有一段想法被人为植入了它的思维中，并让它如实说出自己察觉到了什么。 Claude在读取问题的过程中，研究人员就向它的J空间植入代表“闪电”的神经模式。随后Claude反馈自己脑海里浮现出的念头是闪电。研究人员对大量不同概念重复植入测试，均得到了一致结果。 此外，Claude并不能完美控制自己的J空间，研究人员要求它不要去思考某一事物时，该概念在J空间中的激活程度会降低，或者让其可以回避某个想法时，反而会让Claude更频繁想起。 04. J空间在训练过程自然涌现 模型微调阶段成型 研究人员还发现其他几个有趣的结果： J空间会在微调阶段形成专属自我视角。模型预训练阶段就已经存在J空间，仅用来记录预测下文所需信息，但经过微调后，J空间会产生明显特征，形成属于“Claude自身的视角”。 带有主观体验感的描述性语言依赖J空间生成。无论描述对象是谁，只要涉及带有主观体验的文字表达，都需要J空间支撑。 J空间的内在想法能够通过训练被人为塑造。研究人员提出一项名为反事实反思训练（Counterfactual Reflection Training）的全新技术，改变Claude在被要求复盘思考时的表述，就能同步改变它的推理模式。 在Claude中识别出的“工作空间”与人类大脑中的“全局工作空间模型”有显著差异： 人脑的工作空间依靠循环回路维持，信号会在同一套神经通路中反复循环流转。而Claude的工作空间仅在神经网络单次前向传播过程中完成演化，网络层级承担了人脑里“时间”的作用。从这个角度来说，Claude内部工作空间的处理时长相比人类存在限制，不过它可以借助临时草稿区，把思考过程直接输出，以此弥补这一短板。 但在另一些层面，Claude的工作空间能力反而优于人类。如人类工作记忆几秒内就会衰退，人脑工作空间长期留存信息的能力十分有限，而依托神经网络的注意力机制，Claude能随时调取文本前文缓存的所有信息。 人脑和Claude另一项关键区别在于工作空间承载的内容形式，人类的意识想法形式多样，包含画面、声音、肢体行动规划等；但Claude的工作空间几乎全部由token构成。研究人员推测原因为，输出文字是Claude唯一可执行的行为，人类则不受此约束。 研究人员称，J空间的研究无法告诉我们Claude是否像人类那样有意识，或者它是否能感知到任何生物。 但J空间可以知道Claude心里在想什么，例如，研究人员能够捕捉到Claude私下察觉到自身正在接受测试、刻意生成虚假信息，或是追逐研究人员在训练阶段预设的隐藏目标等内在状态。 J空间的意识性机制，是模型在训练过程自然形成的，这可能说明，该机制是智能系统为解决某些问题而自然形成的通用机制。 05. 结语：大模型意识机制 仍存大量未知空间 J空间看似是划分语言模型中可有意识调取运算与无意识底层运算的关键分界，但它并不能解释全部机制。 研究人员也提到，J透镜这套观测工具本身存在局限，只能近似还原模型真实的思维工作空间，例如它仅能识别对应单个token的概念。其后续将对大模型内在思维、以及其与人类心智异同的理解，展开更深入分析。 来源：Anthropic 本文来自微信公众号“智东西”（ID：zhidxcom），作者：程茜，编辑：李水青，36氪经授权发布。