## 718｜北大研究团队让AI和本科生同台PK，不及格化学成绩背后的三大发现

你好，我是快刀青衣。欢迎收听快刀广播站，每天带你看AI。

最近，北京大学的研究团队发布了一个名为SUPERChem的测试，同时还发表了一篇论文。有意思的是，他们在测试中拿出500道竞赛级化学题，让174名北大化学专业的本科生和十几个全球顶尖AI模型同台比拼。

结果呢？北大学生平均答对40.3%，最强的AI模型GPT-5答对38.5%。两者看起来势均力敌，AI只比人类低了不到2个百分点。当然，面对这么难的题目，不管是学生还是AI，都不及格。

不过，论文里有个细节吸引了我的注意力，那就是在预测化学反应的产物结构时，AI经常会编造出根本不可能存在的分子结构。你可以想象这样的画面，AI信心满满地给出答案，结果画出来的分子在化学上完全说不通。这就像一个学生在黑板上写出“1+1=3”，然后还一本正经地写板书，解释推理过程。

这并不是个例。在论文里，北大研究团队发现，AI虽然能记住海量的化学知识，计算速度也快，但在真正需要推理的时候，经常会露馅。

接下来，我们详细聊一聊这个测试。你肯定好奇，这个测试的题目有多难？

咱们先回到开头提到的那个数字，174名北大化学专业的大二学生，平均正确率只有40.3%。

要注意的是，这可不是普通大学生，更不是像我这样的学渣，而是北京大学化学与分子工程学院的学生，能考进这个学院的都是各省尖子生。但即便是这些学霸，面对SUPERChem的500道题，也只有40%左右的正确率。

我还了解到，这些题目来自三个地方，分别是：国际化学奥林匹克竞赛的非公开模拟题、北大化学学院的内部试题，还有从最新研究论文里改编的题目。要知道，能拿到化学奥赛奖牌的学生，基本都能保送清北，由此你就能看出题目的难度。出这样的题目，就是为了避免大模型并不真正理解原理，只靠死记硬背答题。

更狠的是，北大团队专门设计了一整套“防作弊”机制。第一是设置26个选项。我们都知道，普通考试的选择题只有4个选项，蒙对的概率是25%。但这里有26个选项，蒙对的概率只有3.8%。AI必须真正理解题目才能答对。第二是抹掉一些关键信息。比如题目里的化学物质名称都被替换成“化合物A”“化合物B”。这样AI就没法通过识别名字来调用记忆中的答案，必须从头推理。

那么这些让尖子生都犯难的题目，AI的表现怎么样呢？北大团队测试了十几个顶尖AI模型，包括GPT-5、Gemini、DeepSeek等。结果让人非常意外，这里有三个关键发现。

第一个发现是，几大AI模型华山论剑，势均力敌，但都不及格。

得分最高的AI模型是GPT-5，正确率38.5%。排名第二的Gemini是37.9%，第三名DeepSeek是37.3%。你看，前三名AI的分数都在37%到39%之间，和人类的平均分40.3%处于同一梯队，不过都没及格。

这个结果说明，SUPERChem找到了一个很好的切入点，既能考验人类的化学直觉，也能暴露AI的推理短板。如果只是做一个测试让AI轻松刷出高分，其实没什么意义。

第二个发现是，同分不同质。有的AI真会推理，有的只是靠蒙。

说实话，这个发现让我印象很深。北大研究团队不只是看最终答案对不对，还会关注AI的推理过程是否正确。他们专门设计了一个叫RPF的指标，也就是推理路径保真度。这个指标听起来专业，但简单来说，就是用来衡量AI的推理过程和专家解答的一致性。

就像两个学生都考了80分，一个是真懂，一个是蒙对的。表面上分数一样，实际能力完全不同。这个指标关注的就是相同结果背后，推理过程是否正确。

结果发现，同样是38%左右的正确率，不同AI的推理质量差别很大。比如GPT-5的这个指标是59.2%，Gemini是59.5%。这说明这两个模型不仅答案对，推理过程也比较规范。但DeepSeek的这个数值只有52.5%。这说明虽然它的正确率和前两名差不多，但推理过程和逻辑的严谨性会比前两者弱一些。

这个发现揭示了AI的一个问题，它可以给出正确答案，但不一定真的理解问题。

第三个发现是，AI的三大翻车现场。

北大研究团队详细分析了AI最容易出错的地方，发现了三个明显的弱点。

第一个弱点是化学物结构预测，这是AI失败最多的领域。在预测化学反应的产物结构时，AI经常会编造出根本不可能存在的分子结构。为什么会这样？因为预测产物结构需要化学直觉和空间想象力。你得想象分子在空间里怎么扭转，哪些原子会靠近，哪些化学键会形成。这种灵性，AI显然还不具备。

其实不只是化学结构，包括建筑设计、物理原理等，只要需要抽象思考或者在脑海里构建图像的领域，AI的能力目前都还达不到要求。

第二个弱点是视觉信息的双刃剑效应。北大团队给AI同时提供了两个版本的题目，一个包含分子结构图、光谱图，一个是纯文字描述。结果发现，对于强推理模型比如Gemini，加入图片后准确率提升了4.7%。但对于弱推理模型，加入图片后准确率反而下降了3.8%。这说明不同AI模型处理视觉信息的能力还很不稳定。

第三个弱点是，在所有题目类型中，AI在“化学反应与合成”这一类的表现最差。GPT-5的正确率是55.7%，Gemini是59.5%，DeepSeek只有49.7%。相比之下，AI在“化学原理与计算”这一类的表现要好得多，GPT-5的正确率高达79.9%。

为什么差距这么大？因为“化学原理与计算”主要考查公式和定义，这是AI的强项，记忆力好、计算快。但“化学反应与合成”需要理解反应机理，预测中间产物，这需要真正的化学直觉，不是简单记忆和计算就能解决的。

最后还有个细节，AI其实有足够的知识储备，但发挥不稳定。为什么这么说呢？论文里北大团队还做了一个实验，如果只让AI做一次题，它可能答对40%左右。但如果给它8次机会让它反复思考尝试，它的准确率就能提升，比如Gemini的准确率能飙升到71%。

这就像一个学生，平时做题总是粗心大意，但如果给足够的时间反复检查，就能做对大部分题目。这个发现也指出了AI未来的优化方向，不是让它记住更多知识，而是让它更稳定地调用已有的知识，减少幻觉。

说到这里，SUPERChem和一般测试的区别，就像闭卷考试和开卷考试的区别。开卷考试可以翻书，闭卷考试则必须真正理解知识点。SUPERChem就是一场严格的闭卷考试，它测试的是AI的真实推理能力，而不是记忆能力。这意味着，我们不仅能知道AI在哪道题上错了，还能知道它在哪个推理步骤上出了问题。这种细粒度的诊断，对改进AI模型非常有价值。

所以，下次看到AI在某个测试上拿高分时，不妨多问一句：它是真的懂了，还是只是记住了答案？SUPERChem告诉我们，分数接近不代表能力相同。在化学这个需要严密推理的领域，AI确实很聪明，但还不够深入。

最后，再和你预告一下，今天中午12点，我们将举行一场AI学习圈同学迎新会。

目前圈子已集结超30位实战老师，上线150多节实操好课。如果你不知道自己该从哪里开始学起，不知道该怎么一步步锻炼自己的AI使用能力，想知道圈子里哪些高手同学的作业可以抄，想最大化用好AI学习圈、用得值回票价，这场直播你千万不要错过，记得准时来看。欢迎你现在扫描文稿区的海报二维码，预约这场直播。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2026010222/1897691775301330288/010222.jpeg)

好，今天的广播就到这里。如果你觉得有帮助，欢迎分享转发给你的朋友。明天咱们接着聊AI。

> 相关链接：
> 论文：https://arxiv.org/abs/2512.01274

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2025123019/1897403168531284752/123019.jpeg)
