## 400｜AI的“智力测试”来了！分享我如何调用三个AI来“赛马”

同学们，快刀广播站又开始广播了。

如果你们跟我差不多年纪，或者差距不大的话，肯定从一些杂志或者报纸的犄角旮旯里看到过填字小游戏。就是那种无论横着看还是竖着看，都能拼出一个成语或者歇后语的小游戏。

其实相比中文，这种填字游戏在英文世界更流行，因为英语是字母式的语言，特别适合做这种“拼接”游戏。填字游戏的历史其实很悠久，它最早出现在1913年12月21号的《纽约世界报》，形式是由记者亚瑟·威恩设计的。之后，这种游戏迅速火了起来。随着杂志和报纸的大发展，几乎每个媒体都会有这个栏目，甚至有些媒体会故意卖个关子，把答案留到下期再发布，可以说是前互联网时代的“用户留存运营”了。

不过，手机流行之后，这种填字游戏基本上就没什么机会见到了，主要是因为现在大家都不怎么看纸质期刊了。不过，作为一种游戏形式，它还是很有生命力的。我在文稿里放了一张图，是一本意大利语的猜谜填字小册子，售价两欧。这个小册子是我前段时间在意大利威尼斯郊区，某超市的报纸架上看到的。它很直接地说明了，填字游戏并没有退出历史舞台，反而还活得挺好。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021822/1868193445990962744/021822.jpeg)

之所以说这个事情，是因为我看到最近多个高校联合做了一次AI基准测试，挺有意思。参与的高校有美国的东北大学、德克萨斯大学、查尔斯大学等五所大学，还有现在最知名的AI编程公司Cursor的研究团队。

先给大家普及一下什么是AI基准测试。我们人类要参加各种考试，从中考、高考到法律考试、公务员考试，甚至各种职业资格考试。而AI基准测试，其实就是评估人工智能模型能力的“考试”。

比如我们常看到很多大模型发布会，模型方会说自己参加了某个基准测试，然后在博士级别的数学问题、编程问题上达到了博士生的水平，这种就叫AI基准测试。我们平时说的刷分、刷榜，也就是指这些测试。

不过，这些测试也遇到了一些麻烦。随着AI能力的不断提升，很多测试项目的得分已经逼近80分、90分，甚至满分。这就让人很难判断新模型到底有多强。例如，考100分的学霸和考99分的学霸，难道只是差了一分吗？问题是，满分就只有100分。

人们为了解决这一问题，近期推出了名为“人类的最后考试”的新基准测试。该测试被认为是“迄今为止最难的AI测试”，涵盖数学、人文学科、自然科学等多个领域的专业问题，由知名大学的教授和数学家设计。在测试的预发布阶段，有报道称，连OpenAI当时最先进的o1模型也只能得到8.3分，正式上线后，这个分数升到了9.1。而大家关注的DeepSeek R1模型，得分是9.4。也就是说，满分是100分，结果不到10分。这并非说明AI能力不足，而是因为该考试的难度实在太高。

然而，这类基准测试的问题通常与普通人关系不大，研究的多是顶尖科学家关注的内容，普通人可能连题目都看不懂。因此，研究团队推出了一个新的测试，使用了来自美国国家公共电台（NPR）的数据。NPR有一个经典的广播智力游戏节目，从1987年开始每周日播出，名为“星期天谜题”。节目形式很简单，主持人每周在节目中给大家出个谜题，下一周再公布答案，有些题目还是观众投稿的。这种题目，普通人凭借一般的知识积累也能理解。研究员古哈在采访时提到，“这种题目的好处是，它不会测试那些深奥的专业知识，反而更考验人们的解题思路。”

而且，因为这个猜谜节目一直在进行，题目也在不断更新，根本无法通过刷题来解决。在现在的版本里，整个基准测试差不多是由600道节目中的谜题组成的。研究团队将现有的大模型都进行了测试，最终表现最亮眼的两个参赛选手是推理模型OpenAI的o1和DeepSeek的R1。这个结果其实挺有意思，主要是因为带推理的模型会先考虑多个解题路径，然后自己反思和修正，如果有不对的地方，还会再来一次。而之前的AI模型，基本上就是随机选个解法，不管对错，直接给出答案，更多时候是靠蒙。

不过，DeepSeek的R1模型给研究团队留下的印象最深刻。因为R1在面对一些难题时，会知道自己解不出来，它在思考过程中会说“我放弃”，然后随便给个错误的答案。而我们遇到的其他AI，通常是自信满满，不管对错，觉得自己绝对没错。古哈说，只有DeepSeek表现出了人类在面对困难时的情绪，那就是“沮丧”。

我把这个基准测试的排行榜放在文章里了，感兴趣的同学可以点开看一看。在这些模型里，排名第一的还是o1，得了59分；第二和第三是o3-mini最新的两个推理分支模型。DeepSeek R1排在第四，得分是35分。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021822/1868193519005387860/021822.png)

研究负责人说：“既然要考验AI的推理能力，对我们人类来说，思想有逻辑并不需要有博士学位。所以才应该有这么一个测试，可以让每个人都能够直观地理解这些模型的能力和局限。”

我个人认为，这个测试的得分不重要，却给了我很大的启发。在AI的世界里，我们会经常看到新出的AI产品或者模型，如果我们只是作为旁观者，很难知道新出的AI能力到底如何，或者被一些煽动性很强的自媒体搞得非常焦虑。所以我们可以准备几个自己碰到的难题，特别是跟工作或者生活相关的，这样每次出新的AI产品，我们都拿这些题目测试一下。试的过程中，你就能知道哪些AI的表现更好了。

当然，如果你不知道出什么考卷，这个事情也可以找AI帮忙。我给大家分享一下，我是怎么用Kimi的长思考模式和DeepSeek的R1模式来测试的，指令很简单，就是：“如果我要出类似智商测试题或者脑筋急转弯，用来检测AI的逻辑推理能力，但是普通人也能看懂，请帮我出五道题”。然后，我再把Kimi出的题目和DeepSeek出的题目，一起扔给ChatGPT，让它评价一下自己两个对手的答案。我把这个互动的截图贴在文稿里，感兴趣的同学可以看看，这就是一个示例，我们要学会当AI的领导，让手里的AI工具去“赛马”。实际上，哪个AI工具更强并没有那么重要，重要的是我们自己有没有拿到最好的结果。

当然，如果大家有什么独特的考验AI的好题目，也欢迎留言分享给我。说不定以后，咱们AI学习圈的用户们，也可以积累一份考验AI能力的试卷出来。

最后再说两件咱AI学习圈的事情。经常收听广播站的同学都知道，去年我经常推荐一个AI翻译工具，那就是沉浸式翻译，尤其是在写《快刀广播站》的过程里，我经常需要查阅大量的学术论文和海外资料，作为一个英语渣，这个工具真的帮了我大忙。所以我也特别邀请到了沉浸式翻译官方合作了一门教程课，帮你用AI快速翻译学术论文、轻松搞定外文视频翻译，也特别为咱AI学习圈的同学，准备了一个专属福利，现在加入沉浸式翻译会员享八五折。当然如果你只是简单使用，免费版本效果也很好了。

点击了解沉浸式翻译课程

另外一件事，下个月我会带队去参观学而思。刚听到这个消息，你可能会问，为什么要参观一家K12企业，这是因为学而思过去一段时间里，一直在研究AI和教育的结合，还推出了九章随时问等AI教育辅助产品，推荐家里有孩子、或者是关心AI和教育辅导的同学，可以扫描二维码报名参加。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021823/1868195563409820756/021823.jpeg)

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021823/1868193954944521576/021823.jpeg)

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021823/1868193965681939816/021823.jpeg)

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021823/1868194049433848916/021823.jpeg)

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021823/1868194058023802424/021823.jpeg)

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021823/1868194066613980244/021823.jpeg)

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025021823/1868194091309733224/021823.jpeg)
