## 问答：「强化学习」和「演化学习」的本质区别是什么？

> 读者 聪聪：万老师，本文是否说明万物所有的一切动作都是往让熵增更快速度的方向发展。生物演化以及人类活动最终也是加快了熵增的速度，那么是否说明生物的演化也是熵增选择的结果？

> 读者 求知汪·弹簧草：查了一下，封闭系统的熵增速度取决于系统内部发生的各种过程和反应的速率。那是不是说，除了熵增定律外，加速熵增也是定律？

> 万维钢回复——

并不是这样。这里的逻辑稍微有点绕，属于否定之否定，我帮你捋一捋。

生命是一种非常有秩序、非常“自组织”的存在，而众所周知「熵」代表无序，那么表面上看起来，生命似乎是「逆熵」的，似乎违反了热力学第二定律，也就是熵增定律。但这个逆熵的印象是错误的，因为生命是个开放系统，每个生命都在不断地与外界交换能量和信息。考虑到生命和生命所处的环境这个统一的大系统，那么大系统总的无序程度，也就是熵，还是绝对在增加。

所以生命并没有降低熵增，反而加速了熵增。事实上，一个生命体耗散能量的速度越快，它造成的总熵增就越多。一个生命越是能折腾，它就是越是在加速熵增。

这就好比我们前面提到的树叶叶脉：叶脉看起来非常有序，但它的存在仍然是一种熵增而不是熵减，因为你得考虑它给外部环境造成的影响。

那我们能说，生命的*目的*就是加速熵增吗？

不能！熵增只是一种副产品。这就好比说烧汽油的汽车只要开起来就会排放尾气，开的越快尾气就越多，但我们绝不能说汽车的目的就是为了排放尾气。事实上对汽车来说，它更希望以更少的尾气跑出更快的速度，它希望少增加一点熵 —— 尽管一定必须增加熵。

生命也是如此。如果单纯想加速熵增，那么各种生命体就应该想方设法散热 —— 但事实显然不是这样，我们都在尽可能保持自身的热量。

所以，生命做任何事情都会无可挽回地导致宇宙更多的熵增，但生命体并不想、也没有、专门*加速*熵增。

没有生命的系统也是如此。一般来说，当一个系统处于远离平衡、快速变化的状态的时候，熵增速度比较快；当系统接近平衡的时候，熵增速度比较慢。把一块冰投入热水之中，初期整个系统的熵增速度很快，等冰完全融化了，熵增速度就慢得多了。

所以熵增是定律，但加速熵增不是定律。

> 读者 许晓萌：万老师，请问定义复杂要从功能上来进行而非外观这个想法，在此之前有其他人提出来过吗？我在隐约中感觉，这世上还有很多道理都类似解释进化论这般，是人类在误区之中进行的：骨骼块数多就是复杂？我的骨头比他少五十块，可我的骨头在表面结构上更复杂，一块起到的作用顶他的八块，事实上当然是我更复杂了!

> 读者 掷色子曰：万sir，复杂与复杂，可以做量化的比较吗？比如复杂A和复杂B都属于“不可约化的复杂”，A与B之间可以比较谁的复杂度量级更高一些吗？类似于，两个无穷大比较谁更大。

> 万维钢回复——

我理解以前科学家曾经想过，能不能制定一个客观标准描写复杂度，但现在他们已经放弃了。现在的认识是「复杂」并没有绝对客观的衡量标准。

要衡量复杂，你必须先设定好“对谁而言、在哪些条件下、为了什么功能”。比如这一讲说的索斯塔克发明的「功能信息（functional information）」这个标准，就是对RNA分子这种生命结构而言，在确保“跟靶分子匹配”这个条件下，看看哪个分子的排列形式更稀缺。按照这个标准，实验中演化出来的分子越来越复杂。

再比如说，我们专栏以前讲过一个概念叫「柯尔莫哥洛夫复杂度（Kolmogorov complexity）」[1]，就是描写在确保生成一段完整信息的条件下，哪个信息的最短算法必须更长，它的复杂度就越高。

仅从这两个标准来说，也许骨头多的个体的柯尔莫哥洛夫复杂度更高，骨头少但功能强的个体的功能信息复杂度更高。而且还有别的复杂度标准。

而沃尔夫勒姆（Wolfram）的「计算不可约性」，则是一种非黑即白的复杂度：一个系统或者是可约的，或者是不可约的 —— 两个同样不可约的系统在这个视角之下是同样复杂的，不存在谁高谁低。

这就好比说 ——

在经济学家看来，因为中国经济比印度发达，中国在全球供应链中占据了更多的稀缺位置，所以中国比印度复杂；

在社会学家看来，因为印度有种姓制度、有多种语言、有自治邦，所以印度比中国复杂；

而在生物学家看来，因为两国人口差不多，同样种群规模下有差不多的遗传变异，应该是同样复杂。

> 读者 千里：Anthropic的团队最近在大语言模型可解释性方面有很受关注的进展。他们称为AI的生物学。他们没有解释每个权重参数的含义，但对于每个任务可以给出工作回路层面上的解释，来展示大模型是怎么算数，怎么写诗的。这应该算是因果关系上的解释，因为这个工作回路是可以被干预，从而得到不同的结果的。不知道万老师怎么看这个工作？

> 万维钢回复——

我理解这就如同脑神经科学家研究人脑一样：你总可以找到有用的内部结构，你可以做的很深，但你终究不能说完全理解人脑。

以前的人认为大脑是个黑盒，但是一代代的科学家通过各种实验、手术、显微镜观察、药物干预、功能性核磁共振成像等等手段，现在已经对大脑了解很多。我们甚至可以说某某脑区负责某某功能，并且据此更好地管理大脑。

Anthropic做的事情大约也是这样。比如任何概念，不管是用英语说还是用中文说，都对应语义向量空间中的一个结构。现在研究者已经找到了一些概念所对应的结构，相当于知道“旧金山金门大桥”这个概念位于大脑的哪个脑区。他们还找到了一些思维过程在神经元层次上是怎么操作的，并且可以进行干预和抑制，比如通过放大“大桥”特征，使 Claude 自称“我是金门大桥”。

这些发现无疑加深了我们对大语言模型的理解，有利于系统安全。但麦克卢尔肯定不会同意这就解决了黑盒问题。

研究者能看到的东西是极为有限的。要想完全解析这个大模型，你需要理解其中所有的神经回路，而那需要的算力和人工是不可想象的数字。正如没有脑神经科学家认为自己可以看懂大脑所有的神经元。

再者，考虑到计算不可约性，你就算知道每一个神经回路是什么，也不可提前预测它们联合起来的输出结果，更谈不上事先绝对控制，所以你还是没有绝对的安全。

所以用麦克卢尔的语言来说，Anthropic只是找到了理解大语言模型的一些「模式」和「启发式」。这就如同棋手总能发明一些概念和说法来尝试理解围棋的招式，但终究不能说完全破解了围棋黑盒一样。

但不论如何，Anthropic研究AI生物学非常值得，也很期待未来的发现。

> 读者 霁云：请问万Sir，有没有那种过去是「硬核问题」，对人来说是黑箱，但是随着技术的发展、知识的积累，逐渐变成「困难问题」的例子呢？「硬核问题」和「困难问题」是否能相互转换？

> 万维钢回复——

你要是说的模糊一点，我们可以说困难问题和硬核问题有个交叉地带。比如魔方，你既可以用严格规则操作解决，在这个意义上它是个困难问题，又可以用训练小型神经网络的方法解决，在这个意义上它是硬核问题。而对于围棋，因为可选项实在太多根本算不过来，我们就只能当它是个硬核问题。

可是魔方和围棋有啥本质区别？不都是有限条件下的操作吗？是的。你要是说的非常严格，那么我们可以从数学上证明，围棋，也是困难问题。

这叫「策梅洛定理（Zermelo’s theorem）」，由德国数学家恩斯特·策梅洛在1913 年提出。它说不管是围棋、象棋还是国际象棋，只要是你走一步我走一步并且在有限步内走完这种玩法，就一定存在一个「不败策略」：要么就是先走的能确保不败，要么就是后走的人能确保不败。

比如五子棋，如果不设置任何禁手，先走的就是必胜的。

那么你只要找到那个不败策略，就可以在比赛中保持不败，你就使用一套规则解决了问题。

从这个意义上讲，只要是棋盘大小有限、影响因素有限的项目，就都只是困难问题，而不是硬核问题。必须是大自然中那些影响因素无限的问题才是硬核问题。

但是考虑到围棋的选项实在太多，再好的计算机也不能穷尽，所以在实质上，它就是个硬核问题。AI能给你非常优秀的下法，但不能给你保证不败的下法。

> 读者 奇·哈斯：面对黑箱式的硬核问题解法，您怎么看待可解释性与实用性的平衡？在需要安全、合规的场景（如医疗、金融等）中，如何让不可解释但有效的方案获得信任与应用呢？

> 万维钢回复——

现实是就算没有AI，我们的系统中也有不可解释的因素 —— 比如警察、法官和医生的自由裁量权，我们不完全理解他们的大脑。而我们选择给他们权力、尊重他们的决定，选择出了问题在事后追责，而不是事先让他们完全按照什么手册操作。AI又有什么特别的呢？

就在5月22日，美国众议院通过（还需要参院批准）一项法案（HR 1：One Big Beautiful Bill Act），其中有一条规定未来十年之内，各州及地方政府不能执行任何针对AI的法规 —— 等于说以后监管AI必须联邦立法，你们地方政府只能给AI开绿灯，不能开红灯，这样最大限度确保AI发展少受束缚。

我认为这个路线是对的。现在是大发展时期，先别管那么多安全的事儿，发展起来再说，哪怕承受点损失也可以接受。

> 读者 吴展元：想请教一下万老师: 如果把AI作为硅基生命纳入到大自然中，那么人类作为一个群体在N+1层的功能是什么？AI的功能呢？AI作为一个群体演化的目的和选择是什么？难道人类真的只是硅基生命的启动程序吗？

> 万维钢回复——

在我们自身这一层，每个人、每个人群的功能都是生存和发展，而AI则帮助我们。在N+1层，如果说要跳出人类和AI看，我们的功能也许是「给宇宙创造新的意义空间」。简单说就是探索新事物，创造新价值，经历新叙事，让宇宙充满生机。

我不认为AI应该有超出我们的价值。它们没有末那识，最好继续做我们的帮手。

> 读者 吕建英：强化学习和演化学习的本质区别是什么？还是没太搞懂。

> 万维钢回复——

强化学习是「干中学」，是个体长存，根据反馈连续优化。比如学开车就是强化学习，一个动作没做好，撞车了，没关系，你记住就好，下次别再这么开；下一个动作做得好，提出表扬，下一次还这么开。

演化学习，则是「优生学」，表现好的给生育机会，加点变异争取下一代会更好，表现不好的直接淘汰。

强化学习是持续迭代，进步肉眼可见，比较可预期；而演化学习则更重视多样性，更容易出匪夷所思的东西。

> 读者 魔法师：万老师，对于那些需要频繁做实验获取反馈的学科，比如化学，AI也能有这么大威力吗？

> 万维钢回复——

AlphaEvolve的所有实验都是在计算机上完成的，所以能独立做出科学发现；如果要做化学，那就必须在实验室做实验，就不能全靠AI完成了 —— 除非让机器人操作。

但AI对实验室里的操作也有帮助。香港科技大学的团队刚刚发表一篇论文 [2]，列举了AI在当前科研活动中扮演各种角色的最佳实践，包括 ——

1. 观察和问题定义，比如自动爬文献、绘制学术图谱；

2. 生成科研点子，并且评测其新颖程度和可验证性；

3. 实验计划，这里最大的瓶颈就是缺少机器人接口；

4. 数据分析；

5. 形成结论，并且自动校验；

6. 自我评审和重写闭环。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025052422/1877003702741556932/052422.png)

可以说在整个科研活动中的每一步，现在都有现成的AI用法和评测工具。如果想要用AI搞科研，建议读一读这篇论文。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025052321/1876909007302614724/052321.jpeg)

注释

[1] 柯尔莫哥洛夫复杂度

[2] Zheng, Tianshi, Zheye Deng, Hong Ting Tsang, Weiqi Wang, Jiaxin Bai, Zihao Wang, and Yangqiu Song. “From Automation to Autonomy: A Survey on Large Language Models in Scientific Discovery.” arXiv (preprint), May 19 2025. https://arxiv.org/abs/2505.13259.
