## 813｜一项新测试让四大顶级AI全军覆没，模型成绩为何不如普通人？

你好，我是快刀青衣。欢迎收听快刀广播站，每天带你看AI。

这段时间，你看AI相关的舆论气氛：英伟达CEO黄仁勋说AGI“已经在房间里了”，各大实验室也在争相暗示自己离通用智能只差一步，包括各种龙虾类Agent产品，都玩命跳跃，仿佛站在镜头前大喊，“看我看我，我特别厉害。”

就在这个节骨眼上，一个叫ARC-AGI-3的新测试发布了，用成绩随手扇了整个AI大模型一巴掌。

成绩是这样的：谷歌Gemini 3.1 Pro，得分0.37%；OpenAI GPT-5.4，得分0.26%。Anthropic的Claude Opus 4.6，得分0.25%。xAI的Grok 4.2，得分0%，一分没拿到。

说实话，看到这个成绩，我愣了一下：这不是发挥失常，这是全军覆没啊。要知道，这四个模型可是目前全球公认的顶尖AI模型，妥妥的第一梯队。

那这些测试让人类做是什么结果呢？同样的题目，人类测试者的成绩是100%。这不是因为人类里有什么天才，参加测试的就是普通人，事先没有任何训练，没有任何指令，第一次尝试。

你看，这个反差大到有点荒诞。我们最近半年被各种“AI颠覆一切”的新闻轰炸，结果在这个测试面前，花了数千亿美元训练出来的模型，还不如一个完全没准备的普通人。这是怎么回事？我来跟你详细说说。

首先，这个测试到底在考什么？说出来你可能觉得有点荒诞：ARC-AGI-3不是让AI做数学题，也不是让它写代码或者写文章。它把AI扔进了一个完全陌生的“游戏世界”：135个从零构建的交互式环境，没有任何说明书，没有目标提示，没有规则描述。AI必须像一个刚拿到新玩具的孩子一样，自己去摸索这个世界怎么运转，自己决定要做什么，然后想办法做到。

例如咱们人类，拿到一款新游戏，不管是华容道、俄罗斯方块这种小游戏，还是魔兽、吃鸡、王者这些大型游戏，其实很少有人先去找说明书，大部分人都是先开始玩，玩着玩着就会了。

这个测试，我认为更绝的是评分机制。测试用的是一个叫RHAE（Relative Human Action Efficiency）的方式，全称是“相对人类动作效率”，这个名字你完全不用记。你只需要知道，测评的基准线是人类完成任务的步数，并且把AI完成任务的效率差距做平方折算。具体来说，如果人类用了10步，AI用了100步，那么人类的得分为100分，而AI实际上只能得1分。

这套机制对漫无目的的游荡和随机猜测有极其严苛的惩罚，就是为了防止模型不靠智能推理，而是靠暴力测试来完成任务。那些顶级模型得分不到1%，不是因为完全没动，而是因为它们在环境里乱转，反复回头，像个无头苍蝇盲目试探，最终被这套评分机制直接判零了。

那么，这个测试是谁做的？他为什么要做这件事？

作者叫弗朗索瓦·肖莱（François Chollet），也是Keras的作者，法国AI工程师。如果你在深度学习圈子里待过，不可能没听说过Keras：这是整整一代AI工程师入门时用的框架，后来被TensorFlow 2.0收编为官方标准接口。他2015年加入谷歌，直到2024年出来独立创业，一直处在AI研究的第一线。按理说，一个做出这种影响力工具的人，在AI圈里应该是个受人追捧的布道者。但肖莱偏偏是个异类。

早在2017年，当整个行业都在为深度学习狂欢的时候，他就公开写文章说，对AI的大肆炒作正在危害这个领域，这件事本质上是不诚实的。同年，他还专门写了一篇长文，标题叫《智能爆炸的不可能性》，直接反驳当时流行的“AI奇点”理论。

这不是一时的口嗨。2019年，他写出了一篇论文，题目叫《On the Measure of Intelligence》，翻译过来就是《智能的度量》。他在里面提出了一个在当时看起来相当另类的观点：真正的智能，不是你知道多少，不是你能调用多少已有的知识，而是你在面对全新、未见过的任务时，能多快学会你不知道的东西。他给这个东西起了个名字，叫“流体智能”。

也就是说，肖莱设计这项测试，既不是为了蹭热点，也不是为了抹黑任何一家公司。他是一个坚持了七年，始终在用自己的方式追问同一个问题的人：我们究竟该如何判断，AI是真的变聪明了，而不是仅仅记住了更多东西？

带着这个问题，我们来看他做的ARC-AGI系列测试的演变史。

第一代测试ARC-AGI-1，2019年发布。形式是静态的视觉网格拼图，其实就是给AI看几个例子，让它找出规律，再完成新的图案。听起来似乎不难，但2020年Kaggle竞赛上，最高分只有20%。当时的大模型在这个任务上表现得相当狼狈，因为它们从没见过这类题目，训练数据里完全没有，调用不了已有的知识。

但后来发生了一件很有意思的事。五年后的2024年底，OpenAI的o3模型借助蒙特卡洛树搜索，再加上巨大的算力投入，硬是把这项测试的成绩刷到了87.5%。至此，ARC-AGI-1基本宣告饱和。

第二代测试ARC-AGI-2，在2025年发布。这一代的题目难度明显提升，当时大家都以为，它至少能撑得比第一代久一点。结果2026年2月，谷歌Gemini 3.1 Pro直接把成绩推到了77.1%。这一代测试的“寿命”，比第一代还短——才一年时间，模型就攻克了这个测试。

但这也让肖莱看出门道了：只要给AI的测试内容是这种静态的“输入-输出”类题目，顶级AI实验室就可以用“测试时训练”的方法，加上暴力堆算力来破解掉。

说白了，这不是在测AI的智能，这是在测实验室有没有足够的算力。

所以第三代的测试，他做了一个根本性的改变：从静态题目，变成了动态的游戏世界。在这个世界里，你不能提前准备，不能靠记忆调用，不能靠算力暴搜，因为环境本身是实时变化的，你必须在互动中随时建立对世界的理解。这条暴力破解的路，被彻底堵死了。

结果就是我们看到的那份成绩单：所有顶级模型，得分都小于1%。

当然，测试发布之后，马上有人跳出来说：等等，这个结论不公平，不能就用这个成绩说AI不行。有个研究团队，专门为Claude Opus 4.6做了一套定制的“脚手架”，也就是给模型配了一整套自定义工具链，手把手地把任务拆解好再交给它。结果在某个特定关卡上，成功率飙到了97.1%。研究团队表示，这成绩不就说明了AI其实也可以吗？

肖莱的回击很简单，也很有力。他说，构建脚手架的智能是人类的，不是AI的；如果一个系统是真正的通用人工智能，它应该能在没有人介入的情况下，自主完成这些任务。换句话说，你帮它想好了怎么做，它再执行，这证明的是你人类聪明，不是AI聪明。

说到这里，从这次全线溃败里，我还读出一个很多人没说透的东西。

当前所有大模型，本质上是一台极其昂贵的“知识压缩机”。人类几千年积累下来的结构化知识：文字、代码、论文、对话，被压缩进了模型的参数里。当你提问的时候，它做的事情是在这个压缩包里，找到最匹配的输出。它处理的，是人类已经解决过的问题的变体。

这里有个概念我觉得说得很准，是纽约大学助理教授谢赛宁（Saining Xie）提出的，叫“反苦涩的教训”。

要理解这个概念，我得先和你补充下背景。2019年，强化学习的奠基人里奇·萨顿（Rich Sutton）写过一篇非常爆款的关于AI的文章，题目就叫做《苦涩的教训》。他回顾了70年AI历史，总结出一个让人有点难受的规律：历史上，每一次“把人类专家知识硬编码进AI”的方案，最终都输给了“搜索+学习+强大算力”的通用方法。

最典型的例子是下棋。当年IBM的深蓝能赢卡斯帕罗夫，靠的是工程师手工编进去的大量棋局知识和评估规则。后来AlphaGo Zero出来，没有任何人类棋手的规则，就靠自我对弈从零学习，直接把人类棋手全部碾压。萨顿说，这就是“苦涩的教训”：别试图把人类的知识喂给AI，让它自己从经验里学，才是正道。

但有意思的是，当前的大模型恰恰走了相反的路。不是让AI从原始经验里自主学习，而是把人类已经整理好的全部知识喂给它，然后靠算力往大了堆。这就是谢赛宁提出的，所谓的“反苦涩的教训”。

这条路在过去几年走得顺风顺水，但它肯定有一个无法绕过的天花板。打个比方，你雇了一个博览群书的图书管理员，他能帮你找到任何一本书里的答案，处理速度比你快一百倍。但如果你把他扔进一片完全没有书的森林，让他自己想办法活下去，他就完全不知道该怎么办了，因为他学的是“书里的答案”，不是“如何在陌生环境里活下去”。

这就是ARC-AGI-3要测的东西：给AI一片没有书的森林，让它自己学会生存。

著名AI大神、图灵奖得主杨立昆（Yann LeCun）说过一个数字，我觉得挺让人上头的：一个四岁孩子通过感官与物理世界互动获得的信息量，大概相当于最大语言模型训练所用的30万亿词文本。但那个孩子可以自己学会倒水，学会收拾餐桌，学会在一个陌生的厨房里找到杯子在哪里。而哪怕是顶级的模型，在一个它从没见过的界面前，只会反复尝试同一套操作，然后卡死在那里。

所以，划分AI和人类能力世界，肯定存在一条明显的分界线。

具体来说，在这条线的一边，是AI已经远超人类的地方：你让它帮你改一份方案、润色一段文字、分析一份数据，它比你快十倍，现在大部分时候比你做得更好；你让它写代码、做调研、整理会议记录，它可以24小时不停歇。

而在这条线的另一边，情况就完全不同了：你把它扔进一个没有说明书的新系统，让它自己摸索出操作逻辑；你让它在一个充满模糊信号的真实处境里，自己判断什么才是真正重要的事；你让它在一个没人告诉它规则是什么的环境里，从零开始建立自己对这个世界的理解，它就开始原地打转了。

所以，这条分界线的本质，不是“难度”的差异，而是有没有人类已经整理好的知识可以调用。

说到这里，我想提醒咱们同学一件事。看到这个AI一败涂地的成绩，我希望大家不要有一种“幸灾乐祸”的心态：“你看吧，AI也就这样”。这种想法既没什么用，也容易让自己停在原地。

更值得想的是另一面：AI做不好的地方，正好是我们作为人类的价值所在。比如，在一个陌生的处境里主动探索，在不确定性里建立自己的判断，在没有人给出目标的时候自己决定什么值得追。这些能力，才是真实世界里最稀缺的东西。

---

最后，再提醒一下，今天是AI龙虾实战月活动的最后一天，也是入手AI学习圈年卡最划算的时候。原价399元，活动立减40元，只需要359元/年，点击文稿里的链接即可入手。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2026040718/1906490296055718816/040718.png)

现在加入还可以免费领取学习圈专门为会员同学准备的《养虾省钱实操指南》，我把指南领取路径也放在文稿末尾了。谢谢你继续支持我们。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2026040718/1906490231629212760/040718.png)

好，今天广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

> 1.论文地址：
> https://arxiv.org/html/2603.24621v1
> 2.ARC-AGI-3测试官网：
> https://arcprize.org/arc-agi/3

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2026040523/1906322559327112928/040523.jpeg)
