## 185｜OpenAI发论文拿小学数学题开刀，AI自问自答展开左右互搏攻防战

伙伴们，快刀广播站又开始广播了。

前两天，OpenAI官方发布了一篇论文，这篇论文的核心是研究一道小学数学题的解法。题目是这样的：假设男主叫小帅，小帅爸爸的年龄是小帅的五倍，小帅的年龄又是小美的三倍。已知小美三岁，请问小帅爸爸多少岁？

你可能会很惊讶，为什么这些顶尖科学家，会研究这种小学二年级数学题。其实，这和最近特别火的一个话题密切相关。国外工程师Riley Goodside发现，一些非常先进的大模型无法回答简单的数学问题，例如“9.11和9.9哪个大”。从ChatGPT到Claude，再到许多国内模型，都在这个简单问题上出现了失误。同学们现在就不要去试了，估计这个话题发酵之后，很多模型死记硬背也必须要答对了。

在和AI协作的过程中，我们会发现AI能在10秒钟内，绘制出赛博朋克风格的未来城市图景，也能迅速生成复杂的程序代码，还能写出一篇妙笔生花的文章，但在一些常识问题上，尤其是数学问题上，却表现得非常糟糕。之前有一个TED演讲，具体内容我已经完全不记得了，但那个标题让我刻骨铭心，叫作《为什么AI既聪明得令人难以置信，又愚蠢得令人震惊》。

我们上学时都有过回答数学题的经历。对选择题和填空题来说，你错了就全错了，因为答案具有唯一性，但你思考的过程却像是在黑盒里。但如果是计算题，我们只要把步骤写出来，哪怕最终的结果算错了，还是能拿到一些过程分，老师可以在这个过程中，看到你的思考过程是否正确。

而OpenAI新提出的训练框架Prover-Verifier Games，简称PVG，就是为了打开AI回答推理型问题的黑盒。用一个类似于GPT-3.5的小模型，来验证和监督大模型的输出，从而提高答案的准确率，降低幻觉。

我已经把这篇论文用AI转成了中英文版本的PDF，有兴趣的话，你可以下载看看。不过我想先用尽量简单、毫无技术名词的语言，给你讲一下这个框架背后的原理逻辑。

首先，PVG的概念本身并不惊艳，也不是第一次被提出来，早在三年前就有类似的提法了。OpenAI的这篇框架论文，也是受到这个思路的启发，去解决模型输出质量不可控的问题。论文一开始也说了，自己的这项研究，是受到了博弈论和相关研究的启发。

这个框架的核心，就是提高AI输出答案的可读性，并让AI去验证。啥叫可读性？就是AI怎么得出的这个答案，得让我们人类能看得懂。以开头那道数学题为例，用一轮次直接回答和五轮次检查回答，结果肯定是不同的。

直接回答是没有可读性的，相当于AI直接给你输出一个计算结果，或者简单说一下步骤。放在这道题里，AI会直接说小美的年龄是3岁，小帅的年龄是9岁，小帅爸爸的年龄是45岁，解答完毕。

如果是按照5轮次的回答，那么AI的回答是：“我们要先确认小美的年龄，已知小美3岁。然后，我们要确认小帅的年龄，已知小帅的年龄是小美的3倍，那么在这里，小帅的年龄就是9岁。紧接着我们要算出小帅爸爸的年龄，已知小帅爸爸的年龄是小帅的5倍，最终得出小帅爸爸是45岁。”虽然这样会显得啰嗦一些，但我们人类，哪怕在时间紧张的情况下，也能一眼发现很多特别低级的错误。即使AI胡说八道，我们也能知道，它到底在哪步开始放飞自我的。

在这个框架里，我们只需要知道他们有两个角色，一个叫做证明者，一个叫做验证者。你可以把证明者理解为学生，就是不断地解题，在前面的多轮训练迭代中，不停地生成答案。验证者则用自己的判断力，来推断证明者的解答是否正确。

为了进一步提高效率和难度，论文里把证明者设计成两种：一种叫做有用的证明者，另一种叫做狡猾的证明者。大家可以把有用的证明者，理解成正确答案；狡猾的证明者，则试图生成错误但具有说服力的内容，以此来欺骗验证者。这样经过一轮又一轮的迭代，验证者每一轮都要经过大批有真有假的答案训练。在这个过程中，AI的推理能力和答案的可读性都会提升。对于我们来说，最大的好处是，未来AI给出的答案正确率更高，并且更容易理解。

我不知道你听到这个框架会想起什么？我的第一反应是想起了《射雕英雄传》里的周伯通。当时他自创了一门武功叫做“左右互搏”，因为对武功痴迷的他，被关在了岛上，所以他让自己的左手和右手互相搏斗。后来他把这门功夫教给郭靖时，第一课就是“左手画方，右手画圆”。笨笨的郭靖很快就学会了，反而聪明的黄蓉一直学不会。看到这里时，我和同桌就在上课时，偷偷地一手画方，一手画圆。

回到开头，这篇论文看似是从一道小学数学题开始入手的，但很多技术型的问题，就是这么一点点往前推进的。一个人或者团队提出了一个想法，另外一个人受到灵感启发，再把这个想法一点点完善。所以在产品研发这个领域，哪有什么“横空出世”，只有“小步快跑，不断迭代”。

好，今天的快刀广播站就到这里了。如果你觉得今天的内容对你有帮助，欢迎分享到朋友圈或者转发给你的朋友们。明天咱们接着聊AI。

【相关论文】

https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024071817/1848228289441765768/071817.jpeg)
