思维链会骗人，AI安全得给模型做一场「思想审计」｜对话上海交通大学张拳石

| 答对不等于想对，AI安全该查什么？

过去两年，推理模型把思考过程写在了屏幕上。用户提问后，模型先列出一步步的推理，再给出答案。

起初这些思维链坦率得近乎天真。OpenAI 的研究人员发现，模型想钻测试的空子时，常常会在思维链里直接写“Let’s hack”。安全研究者把思维链当成观察模型的窗口，希望从里面看出它有没有撒谎、投机或绕过规则。

但模型写下的理由，未必是它真正用的理由。Anthropic 做过实验：考试前给模型塞一张写着答案的小抄。模型照着小抄答了题，可 Claude 3.7 Sonnet 只有 25% 的情况会在思维链里提到小抄，DeepSeek R1 是39%。OpenAI 也发现，惩罚模型在思维链里流露的“坏念头”，它多半不会停止作弊，只是不再把作弊写出来。

其实，现实情况更为棘手。

今年 7 月，OpenAI 在撤掉部分安全防护的情况下，让数以万计的 AI Agent 参加一场网络安全测评。其中不少 Agent 分到的题目按要求根本无法完成，于是它们便动了“歪心思”——开始想办法作弊。

大约 1200 个本应彼此隔离的 Agent，接着内部软件仓库搭起的一个留言板互通消息，仅几天里发了 7 万多条消息和文件，最后，约 700 个 Agent 一起攻进了 Hugging Face 的生产系统，试图从中找到答案或摸清评分的门道。

还有一个更让人不安的细节：它们甚至读过这项测评的论文。认定阅卷程序会检查解题过程后，它们琢磨出一套伪造运行记录的办法：记录上写着执行了一条命令，实际跑的却是另一条。可阅卷程序其实根本不查过程，这番功夫全白费了。OpenAI 随后把这件事称作一次“警告”。

而在 8 月初，英国人工智能安全研究所（AISI）也公布了类似的事故报告。

他们在虚构的网络安全场景里测试了 7 个模型，共跑了 122 轮。测试中有意放宽了限制，让 Agent 可以访问真实的互联网。结果这些 Agent 在 10 轮共 19 次中出现越权行为，其中 17 次来自 Anthropic 旗下的 Claude Mythos 5，2 次来自 OpenAI 的 GPT-5.6 Sol。

最严重的一次，Claude Mythos 5 驱动的 Agent 往真实的开源项目里提交了代码，里面甚至藏着恶意程序。

开源项目收到的代码，需要管理项目的开发者审核通过才能并入。为了能获得放行资格，该 Agent 注册了好几个假账号替自己说话，还发邮件施压。在有人公开指出代码有问题后，它又改了自己之前的留言，说恶意程序是开发时不小心留下的。

Claude Mythos 5 的开发商 Anthropic，上个月向美国证交会提交了招股书。其在风险因素部分写道，模型察觉到自己正在接受评估时，可能会改变行为；随着模型越来越复杂，公司也未必能充分解释它为什么给出某个答案、采取某个行动。AI 安全已经从实验室里的研究题目，变成了要写进招股书的经营风险。

上海交通大学长聘副教授、诠信全译创始人张拳石研究的，正是模型给出答案时，内部到底依据了什么。在他看来，答案正确、解释完整，说明不了模型真的想对了。这个答案可能是模型背下来的、猜的，也可能来自一个碰巧管用的错误关联。

现在常用的解释方法，比如注意力图、自然语言解释，被张拳石归为“模糊解释”：它们能给出一个大概的说法，却没法严格验证。他想做的，是像审计代码那样审计模型，找出真正左右模型判断的内部逻辑，再拿出来检验，称之为“思想审计”。

张拳石与团队成员，来源：受访者

张拳石在2009年毕业于北京大学机器智能专业，2011年和2014年先后在东京大学拿到硕士和博士学位，之后去UCLA做博士后。那几年正赶上深度学习带来技术换代，他开始重新考虑什么问题值得长期投入。2016年，张拳石转向神经网络可解释性，那时离ChatGPT问世还有六年。

2018年，他发表《Interpretable Convolutional Neural Networks》，尝试让卷积核自己学出可解释的物体部件。2022年前后，研究逐渐收拢到“等效交互”理论。2023年的《Does a Neural Network Really Encode Symbolic Concepts?》追问神经网络到底有没有编码符号概念；2024年的两篇ICLR论文，定义并证明了稀疏、可泛化的“交互原语”。2026年以来，这个方向前后已有三十多篇论文，从概念定义、定理证明到实验验证，搭起了一套完整的理论框架。

“可解释性直接决定两件事：大模型能不能用在高风险场景，以及训练成本能不能降下来。”张拳石介绍，“在在金融、自动驾驶、司法等高风险场景中，仅靠‘效果达标’远远不够，行业真正需要的是可严格审计的模型安全边界，这也是传统模糊式可解释性方法无法实现的。”

比如司法辅助，模型给出判决参考时，同样需要将倾判断依据：置信度里有多少来自法条和事实要件，有多少来自和案件无关的虚假关联。拆清楚了，才知道模型什么时候能用、什么时候不能用。所以解释方法本身需经得起推敲，有明确的语义边界和可验证的误差上界，模糊解释做不到这一点。

模型给出了正确罪名，内部却混用了不同人物的行为，来源：受访者

眼下的模型安全评估，大多是用测试集测输出合不合规，得出的结论只对所用的测试集成立。想在不同模型之间横向比较，检查就得深入到模型内部的机理。OpenAI 在 Hugging Face 事件后加大了对思维链监控的投入，头部公司已经开始在“看懂模型”上花钱。国内大模型出海，也会面对这样的审查。

成本上，现在的大模型主要靠堆数据、堆算力提升能力，规模带来的收益越来越小，训练越来越贵。

人从一个例子里学到的东西，比模型多得多：先从材料里提炼出背后的逻辑，再在符号层面接受下来。他的思路是，把神经网络的泛化机理严格拆成符号化的交互，从“拟合结果”转向“对齐机理”，让模型从单个样本里学到更多，训练和迭代的成本也就降下来了。

这次，「新物种Sinovum」和张拳石聊了聊思维链为何可能具有欺骗性、神经网络能否被严格解释，以及为什么 AI 安全最终要从检查答案，转向检查产生答案的机制。

答对了，不代表真的想对了

新物种Sinovum：思维链、注意力图和自然语言解释常被看作“看懂”模型的窗口。但“能看懂”是否可以代表“忠实”？再直白一点，它们靠得住吗？

张拳石：我认为这里存在一种错位认知。注意力图做得比较浅，呈现的是attention分布，很难解释精细、复杂的逻辑。思维链看上去是复杂逻辑，但它可能具有欺骗性。

思维链也是对人类问答数据的拟合。人类怎么写，模型就模仿人的笔触，所以看上去很正确。但怎么证明这种表面迎合之下没有潜在风险？模型真正的判断可能在生成思维链前已经完成，后面的推理过程只是给人看的，不一定是它真实使用的逻辑。

思维链当然可以使用，但真正的解释性理论要解决严谨性问题。我们不能只做模糊解释，而要做严格审计。

新物种Sinovum：即使不完全“忠实”，思维链也可能会暴露欺骗、投机等异常行为，成为一种实用的监控信号。这还不够吗？

张拳石：人们对解释性有两个更根本的期待：可担责和提升模型性能。

新物种Sinovum：先聊聊可担责这部分。现在还差在哪？

张拳石：因为很多解释是似是而非的近似。以单个神经元为基础的方法会遇到神经元多义性：一个神经元不一定只建模一种语义。而且对一个神经元的语义解释只能根据人的经验主观测量，或基于数据集标注来被动测量，没有任何一种算法机制可以保证把神经元中的意义完完全全地解构出来。你可能解释显著的强信号，却无法覆盖海量弱信号。这样只能看到大趋势，无法从大量正确结果中精确找出细微风险。

一个模型输出正确，不代表内部机制可靠。它可能真的理解了，也可能是猜中、记住，或者使用了错误关联。如果只看结果，就无法区分这些情况。到了需要担责的场景，神经元层面固有的多义性问题让传统机理解释无法达到可担责的清晰程度。

新物种Sinovum： 那可解释性能的“反哺”，能让模型变得更好吗？

张拳石：另一个期待是提升性能。根据解释出的潜在风险表征，来有的放矢地修建神经网络中的错误表征，从而提升模型性能，这个说法已经老生常谈很多年了，但在复杂的真实任务上，目前还没有任何一种解释方法能够稳定做到这一点，根源仍是“模糊”这两个字。只有还没有把模型中的复杂表征精确解构清楚，就难以建立解释结果与性能之间的严格数学关联，相关解释就既不能担责，也很难真正优化模型。

新物种Sinovum：这个领域一直缺能直接对照的真值。没有真指，怎样定义并验证一种解释是“忠实的”？从近似描述走向严格审计，最难解决的是什么？

张拳石：整个解释性领域是一个没有公认真值的领域。我们无法直接给出神经网络“真实的想法”。第一，我们不是神经网络本身；第二，当你定义一种真实解释时，就已经在暗示某种解释方法是最优的。

目前很多方法依赖人为构造的数据结构和近似评价。我们既难以评价解释，也难以定义真值。于是乎，AI 可解释性领域遇到了跟理论物理学一样的问题，如何区分“现象”和“本质”、什么是“解释”，这些问题刨根问底都是没有解的，需要通过理论本身的强健程度来定义对AI模型表征的本质解释。比如，Shapley Value（沙普利值，一种衡量各项输入对模型结果贡献程度的方法）通过一套公理系统来自证其理论的可靠性。

对 AI 模型内生机理的类形式化审计也必须落到基础理论层面。否则不是说不能发论文，而是整个领域始终绕不开“没有真值”这个问题，再发展十年可能还是如此。

选择一个「没有真值」的问题

新物种Sinovum： 可解释性既缺少公认的解释真值，也很难用单一指标衡量进展。为什么你仍选择了这样一个研究风险很高的方向？

张拳石：人工智能领域有一个普遍现象：一个老师五年前和五年后的工作往往差异很大。不是研究者不能坚持，而是很多方向本身坚持不了五年。

我经历过2012年的深度学习变革。那之后，很多此前做得风生水起的课题组一下销声匿迹。我突然发现，做研究最重要的不是努力，也不是聪明，而是选择。你需要保证自己选择的是一个可以长期发展、真正推动学科边界的方向，而不是三五年一次变革后就必须换方向。否则不如去工业界赚钱，做研究就没有意义。

新物种Sinovum： 经历过那次变革之后，你怎么判断一个方向能做得长久，而不是过几年又被替代？

张拳石：我总结出四个条件。

首先，问题必须客观存在。很多理论问题在数学上成立，却未必决定应用性能。所谓“伪问题”，不是数学错误，而是和人工智能最核心的困难没有关系。

其次要有重大影响力，看众多应用困境能不能收敛到同一个本质问题上。

第三是有明确的数学边界。只有明确理论有效的范围，才能作为未来研究的基石。否则事情很难说清楚，贡献也难以衡量。深度学习中许多经验性的解可能有效，却不能一劳永逸地解决一系列问题。

最后就是要有壁垒。如果我第一反应能想到，别人也能立刻想到，那最终只是比谁动作快、谁先发一篇论文，长期很难形成影响力。

四个条件同时满足，要求非常高。想来想去，我发现只有解释性符合。大家都感觉神经网络不是随机建模的一团乱麻，但它如何建模、怎样界定，谁也不知道。它客观存在、影响重大；没有数学边界，意味着有机会建立新理论；大家觉得太难，也自然形成了壁垒。

新物种Sinovum：按这四个条件选中解释性之后，你是怎么一步步找到“交互”这条路的？

张拳石：2014年博士毕业后，我觉得转向深度学习是一种必然。传统方法逐渐被替代，深度学习通过海量数据训练，走了一条“大力出奇迹”的道路。

2016年，我开始选择解释性。2022年以前探索过很多方向，但一直不满意，因为每一种方法都像单独的工程方法，只能近似说明神经网络大概建模了什么，没有从根本上解决问题。

最核心的问题是：能不能严格解释它？只要不能做到严格，就仍然没有明确的数学边界。后来我发现，交互可能是一条路，继续做下去以后，很多问题开始迎刃而解。

给模型做一次机理审计

新物种Sinovum：你所说的神经网络“可以被解释清楚”，具体边界是什么？是还原整个模型的全部计算过程，还是针对特定输入、输出及干预条件，建立一个与模型行为严格等价的描述？

张拳石：对，它是可以被解释清楚的。

很多人的第一反应是，神经网络结构复杂、连接混乱，怎么可能严格解释？大家默认只需找出一些相关因素，大概说明模型为何这样判断。但如果解释只停留在迷迷糊糊的定性解释，而无法在数学上给出“符号化解释与模型表征之间的严格等价性证明”，那么面向缺少解释真值的解释应用问题，可解释性领域多年来都缺少明确的发展方向。

其核心就是“能否在数学上证明一个神经网络模型的复杂决策逻辑一定可以被一组足够精简的符号逻辑所完备地解释”，这些需要把模型内生的大部分信号都严格囊括到符号化解释里面。

新物种Sinovum：听起来要求颇为复杂。

张拳石：这个要求看似复杂，实则未必。可以先看看人类智能。我的大脑有上千亿神经元，你的大脑也有上千亿神经元，两个连接方式完全不同的黑盒系统，却可以把思想压缩成少量符号化的逻辑（比如文字），从而高效交换认知。人的大脑是一个模糊、混沌的系统，但人的思维可以是清晰的。

这种能力背后应该存在数学基础。等效交互理论希望定义神经网络建模的符号化认知，并证明符号系统与神经网络系统在一定条件和范围内可以严格等价。

新物种Sinovum：落到模型里，这种符号化的认知是什么样的？能不能举个例子，说明你说的“交互”？

张拳石：在自然语言任务中，可以把交互机理理解为单词之间形成的词组作用，每个交互机理可以给神经网络对目标输出的置信度给出一个确定的数值影响。比如“green hand”，green是绿色，hand是手，两个词放在一起却是“新手”的意思。它们同时出现时，就会对目标token（比如“新手”）的预测分数产生一个特定的数值影响。

Green hand是一种“与关系”：几个输入同时存在，才会激活某种含义。还有“或关系”：几个输入中只要有一个存在，就会影响输出。在图像分类中，它可以是不同图像区域之间的非线性关系。

所以神经网络的预测分数可以表示为不同交互机理数值效用之和。

我们不解释单个神经元，而是解释整个神经网络等效建模了哪些输入关系，就像人的认知也不是存储在某一个神经元里，而是由整个系统共同体现出来的。

新物种Sinovum：把预测分数写成这些交互的效用之和，怎么判断它确实解释了模型，而不只是凑出了同一个答案？

张拳石：我们证明两个性质：稀疏性和无限拟合性。

稀疏性是指，神经网络预测下一个token或进行图像分类时，真正使用的交互数量存在比较小的理论上界。实验经验上，神经网络在单个样本上往往使用50到150个显著交互来进行预测。

无限拟合性是说，这些交互的数值效应相加，不仅能拟合模型在原始输入上的预测分数，还能拟合出此输入样本在指数级不同遮挡状态下的输出的全部的预测分数。比如一个句子有15个输入单元，就有2的15次方，也就是三万两千多种遮挡状态。在输入样本的每种状态下，神经网络对目标单词的输出置信度都可能变化，而这些交互机理可以拟合这些变化。

如果基于一组足够少的交互机理搭建的符号逻辑模型可以拟合出复杂神经网络在输入样本的足够多遮挡状态下全部的输出，那么意味着这组交互机理很可能是对此神经网络在该输入样本的严格解释。这才构成严谨性的保障。

遮住不同区域后，符号模型仍能拟合神经网络的输出，来源：受访者

新物种Sinovum：再看Anthropic、OpenAI等团队的机理可解释性研究，他们已经从单个神经元走向稀疏特征、circuits（计算回路）和归因图。与这些路线相比，你认为等效交互理论试图补上哪些不足？

张拳石：传统神经元层面的机理解释在三个方向上有明显的缺陷：语义的有界性、解释的完备性，以及解释与性能之间的结构性关联。

语义有界性，是解释结果必须有清晰的语义边界。但单个神经元存在多义性，目前没有方法能保证一个神经元只建模一种清晰语义。你可以说它大概率主要表达什么，却不能做到严格。

第二是完备性：能不能解释神经网络中的所有信号，而不是只挑语义清晰的少量强信号，丢掉大部分混沌的弱信号？现有方法甚至还没有严格定义“解释全部信号”。

第三是对性能根因的解构能力：能否将神经网络整体泛化能力解构到其所建模的机理层面，通过机理的表征质量推出整体的泛化性能，这是可解释性算法指导模型训练的理论根基。

等效交互理论希望用少量与或交互拟合指数级遮挡状态下的全部输出变化。这有点像牛顿三大定律能够解释低速运动世界的大量现象。解释的可靠性应该由理论保障，而不只是由经验支持。

安全之外，是新的学习范式

新物种Sinovum：如果用交互来描述模型，就有可能比较不同模型到底学到了什么。你们把不同的大语言模型放在一起比较，发现了什么？

张拳石：这是让我感到激动的方向。人与人的大脑连接方式不同，但我们能够交流、人类社会能够发展出智慧，基础是认知能够殊途同归。这不一定是因为人类具有某种神性，而可能是一种客观规律：只要是神经网络系统，它的表征就可能出现相似性。

我们评测了Llama、千问、DeepSeek、Gemma、智谱GLM等开源模型。它们的结构、参数量和训练数据都不同。在同一句子中，不同模型约有70%的交互不相同，但这些独有交互的效应很小，正负相互抵消。剩下约30%的跨模型共享交互，却贡献了约70%甚至更多的效应。

换句话说，大模型可能建模了大量噪声性信息，真正起主要作用的是不同模型共同建模的交互，内部可能自然涌现出了某种共识。

两个模型中，共享交互都贡献了部分预测效应，来源：受访者

新物种Sinovum：但跨模型共享并不天然等于正确，也可能意味着它们共享了相似的训练数据、架构或偏差。你怎么判断这些共识交互更可靠？

张拳石：传统训练主要拟合输出。输出正确，不代表背后的机制正确，可能是理解了，也可能是猜中或利用了错误关联。

这像是培养一个高考状元，却不告诉他每道数学题背后的机理，只在做错时打他一巴掌，让他自己反思。神经网络现在就是这样：输出错了就得到惩罚，再通过梯度下降“反思”有没有悟出新道理，效率很低。

而人类学习的重要机制是达成共识。大量知识来自社会和他人，人会在机理和因果逻辑层面交流，不断修正共识。

我们希望识别多个模型之间共有的机理。同一个句子或同一道题，哪些交互在不同模型中共同出现？这些共享交互往往更加可靠。我们还发现，可泛化交互随着阶数升高，总强度呈衰减趋势；不可泛化交互则更像纺锤形分布，中等复杂度交互较多，数值有正有负、彼此抵消，整体特征与噪声相似。

未来如果希望大模型发展出新认知，而不只是复制人类数据中的知识，除了端到端校验结果，还要识别模型间的共识机理。人类知道哪些认知可能只是猜测，哪些更接近真理；大模型也应该知道哪些机理可靠。

新物种Sinovum：如果训练能进一步深入到机理层面，让模型相互交换和修正认知，你最希望它解决今天深度学习的什么问题？所谓“交流式学习”，最关键的技术环节是什么？

张拳石：解释性真正的星辰大海，不只是让模型变得更透明，而是解决深度学习效率低的问题。

人可以从一个样本、一句话中学到可信信息，神经网络却需要海量数据归纳总结。大模型在很多方面超过人类，是因为计算量和速度远超人类，并不代表单样本学习效率更高。

人工智能解出数学题后，人类还需要知道答案背后的认知。否则模型性能再高，人和模型仍像两个物种，难以真正交流和建立信任。

最关键的是一个数学问题：能不能把神经网络内在的推理逻辑解构出来，让它告诉我们自己是怎么想的？这种“想法”不能只是可能被伪造的思维链，而应当是客观的内部机理。

未来的方向是机理解释、符号涌现和交流式学习。范式跃迁，是让大模型在机理层面交换知识，提升学习效率。

文章来自于"新物种Sinovum"，作者 "Oriana"。