## 419｜2024图灵奖给了强化学习，聊聊它如何让AI变聪明

同学们，快刀广播站又开始广播了。

这几天，从DeepSeek到Manus，朋友圈里简直经历了一场AI信息大爆炸，让我差点儿错过了一个很重要的消息——3月5号，2024年图灵奖终于揭晓了。今年的得主是美国马萨诸塞大学的荣誉教授安德鲁·巴托和加拿大阿尔伯塔大学的计算机教授理查德·萨顿。图灵奖被誉为计算机界的诺贝尔奖，就像去年获得诺贝尔物理学奖的辛顿教授，早在2019年就拿过了图灵奖。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025030720/1869760670967862840/030720.png)

今年的两位得主，研究的方向都是强化学习。而且巴托还是萨顿的博士和博士后的导师，两人从1978年就开始研究强化学习了。官网介绍说，这次获奖是为了表彰他们为强化学习打下的坚实基础，特别是在80年代发布的一系列论文里，不仅把强化学习的核心思想讲清楚了，还把数学模型和算法给搭建了起来。现在，很多智能系统的核心算法，基本上都跟他们当时的研究有关系。

咱们圈里有不少同学刚接触AI，所以对于像强化学习、监督学习这些专业词汇可能有点陌生。今天我就借着图灵奖的事，给大家用简单的方式聊聊这些技术。首先，大家知道最近两个月火得不行的DeepSeek吧？其实它之所以能引起这么大的反响，就是因为用了大规模的强化学习，在推理阶段表现特别好，才在全球掀起了一阵浪潮。

关于强化学习，其实你只需要记住一个概念：让AI自己教自己。AI做出动作后，环境给出反馈——奖励或者惩罚，然后AI根据这个反馈调整自己的策略。听起来好像很简单，但这正是图灵当年最关心的问题：计算机能自己思考吗？

这两年，不管是大语言模型，还是现在火爆的人形机器人，其实都离不开强化学习。如果AI的每一步都要依赖人类给出意见，那根本不能叫智能化了。

但是，强化学习虽然听起来不复杂，所谓让电脑自己教自己，却整整花了七十多年才发展到今天这个程度。

在1950年到1970年之间，强化学习还只是个雏形。比如1959年，萨默尔在IBM编写了一个程序，它可以和自己下跳棋，并通过不断训练提高水平。虽然这个程序还不是我们现在常说的强化学习，但它已经在试错的过程中引入了自我评估。

当时的想法就像是小孩子学走路，没人会给孩子写个“走路程序”，只能一次次尝试站起来，迈步前进。摔倒了就知道这条路不行，走得稳了就会得到正向反馈。别看这想法简单，实际上，今天很多人形机器人的训练，最底层的逻辑依然是这么做的。

到了80年代，围绕着强化学习，开始涌现出一批学者来研究它的理论基础。我们今天提到的巴托和萨顿两位教授，就是当时最耀眼的学术明星。1979年，他们俩在马萨诸塞大学阿默斯特分校做了一项“神经网络加试错学习”的实验，逐步提出了强化学习的新概念。

接着，1983年，萨顿在麻省理工学院发布了论文草稿，首次提出了“时间差分学习”（Temporal Difference Learning）这个概念。直到1988年，萨顿才正式发布了这篇论文，名字叫《基于时间差分方法的预测学习》。这篇论文也成了强化学习发展的一个大里程碑，影响深远。

这篇论文其实很能体现强化学习的精髓，核心就是在没有拿到最终结果之前，先做一些估计，一边走一边调整。举个形象的例子，想象一下快递小哥送包裹。每天他要跑很多条送货路线，最终目标就是当天把所有包裹送完，送得又快又好，还能收获好评。

如果按传统算法，比如当时主流的蒙特卡洛法，小哥得等到所有包裹都送完，工作结束后，才能回头总结今天的表现，看看哪里可以改进，调整下一条路线。而萨顿提出的TD学习法则不一样，小哥在送到第一个小区后，就能开始评估自己的路线好不好，比如发现这条路堵车，就可以马上换条路走。送到第三个小区时，再根据情况调整，避免等到晚上才后悔“早知道不走这条路，费时又费油”。

萨顿和他的老师巴托，就是把这种每走一步、边走边学的思路，转化成了数学公式，让计算机也能快速做出决策调整。这对人工智能的未来发展，意义非常大。

从这之后，问题变得更加复杂，智能世界也进入了更深的阶段。比如，强化学习和深度学习结合的应用，像我们都知道的阿尔法狗击败李世石，就是一个经典的例子。2016年，DeepMind把强化学习、深度神经网络和蒙特卡洛树搜索结合在一起，开发出了当时的阿尔法狗。它的学习方式就像人类的复盘，自己和自己对弈几百万盘棋，依靠输赢的反馈来优化策略。

当然，阿尔法狗这个例子大家太熟悉了，有点老生常谈。其实我们现在都知道的OpenAI，2017年他们也推出了一个叫OpenAI Five的计算机程序。和现在的ChatGPT不同，当时的OpenAI Five可没有那么强大，它只有一个功能，那就是玩Dota2，这个大家可能都听说过。

这个程序的核心很简单，最开始它每天和自己对战几百次，通过击杀敌人或者摧毁防御塔来奖励自己。后来，它还扩展到五人协同作战的模式，最终能击败业余和半职业的战队。

再看DeepSeek发布的R1模型，其实就是用强化学习的方式。传统的大模型需要大量人工标注数据，而DeepSeek通过让AI自己生成答案，并根据反馈逐步改进，解决了这个问题。

当然，得特别提一下，这两位得主可不仅仅是因为80年代那几篇经典论文才拿到图灵奖的。1998年，他们俩还合写了一本书，叫做《强化学习导论》。这本书在全世界很多大学的人工智能专业里，都是必读经典，被誉为“强化学习领域的圣经”。

今天我们聊了聊最新的图灵奖和他们奠定的强化学习技术体系。其实，很多我们今天看到的技术，看起来是那么炫酷、那么前卫，但背后却是无数年、无数学者的默默耕耘，才让这些技术变成现实。比如我们现在觉得让AI一边学习、一边调整策略，听起来没什么大不了，但正是这种一个个看似不起眼的突破，才有了今天我们手里用的AI产品。

萨顿听说自己得了图灵奖时，特别震惊，他还说：“其实，我在生活中，也把自己当做一个强化学习的智能体。比如走路时不小心碰到脚趾，我就会调整一下方向。”

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025030720/1869760768677825620/030720.jpeg)
