## 关于 OpenAI o1 的几个认识

9月12日，OpenAI发布了最新的AI模型o1。这是一个影响深远的大事件，我来帮你解说一下。

我之前跟人说，大语言模型革命的第一阶段已经结束。这表现在包括中国的模型和开源模型在内，有多个模型都达到了GPT-4的水平。有时候你比我领先一点，有时候我比你领先一点，但大家都在同一个水平线上 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091913/1854056105870151240/091913.png)

人们开始怀疑OpenAI是不是已经没戏了，更重要的是，大模型研发这条路是不是走到头了，剩下的只是部署和应用？

而与此同时，OpenAI给我们留下几个悬念：

- 他们似乎在搞一个叫Q*，后来叫草莓的项目，那到底是个什么东西？

- 先是山姆·奥特曼被一度从CEO位置上驱逐，后是首席科学家伊利亚·苏茨科弗真的离职，据说都是因为感受到Q*的危险，那到底是个什么危险？

- 更重要的是，缩放定律（scaling law）[1] 仍然有效吗？

现在 o1 出来，这三个悬念全都解决：Q*和草莓就是o1，o1十分强大而且的确有个哲学上无解的危险，缩放定律仍然有效。

我这几天一边试用一边做了大量的调研，咱们总结几个认识。

✵

首先，o1是专门为了解决数学和科学难题而优化的。当然你也可以问他一些日常的问题，但那就等于浪费它的算力。我们看 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091923/1854093268074176136/091923.png)

o1参加数学和编程竞赛的水平都远远超过了GPT-4o，在人类参赛选手之中排在前列。它在科学问题上的水平相当于博士研究生，得分已经超过了人类专家。有网友 [2] 用2024年的中国高考数学题给它，结果是除了证明题没有测试之外，其他题目全对；用2024年全国高中数学联赛的初试题目给他，满分120分得了104分。

最有意思的是有人 [3] 用门萨智商测试题给o1，测出来智商是120，不但碾压所有其他大模型，而且比91%的人类聪明 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091919/1854077911418609456/091919.jpeg)

有一位天体物理学在读博士 [4] 做了个科研编程测试。他自己的研究中有一套算法，用了一年才写好代码 —— 结果只用了六轮提示语，o1就把那些代码写出来了，而且运行通过 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854057804529211720/091914.jpeg)

当今最聪明的数学家陶哲轩的评价是 o1 相当于一个本份的研究生。那我们大约可以说，o1会是你忠诚的科研助理。

o1的思考能力之强，OpenAI甚至建议你不必给它很详尽的提示语，直接把问题说清楚，它自己就能采用最好的思考步骤。

它是怎么做到的呢？

✵

之前的GPT，你问一个问题它就直接回答了 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854060611290315096/091914.png)

可谓是脱口而出，直觉输出。而对o1，它会先思考一段时间再回答 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854060682157300040/091914.png)

它更有章法，有步骤。这首先是「思维链（Chain-of-Thought）」的作用。

但我们以前就讲过 [5] 思维链，我们知道只要你简单地对模型多说一句“咱们一步一步想”，它就能分步骤思考，返回更准确的答案。那你说 o1 的高级之处在哪呢？

在于它有了真正的「系统2」的思考。心理学家眼中的系统2就是慢思考，用于逻辑和复杂决策。而我们之前讲《智能简史》的时候说过 [6]，系统2的特点是在做一个决定之前，要在头脑里多模拟几个局面，看看各自的结果如何，然后从中挑选一个最好的作为输出。

以前的GPT哪怕会分步骤，每一步也是一次性的，是直觉上感觉怎么说好就直接输出 —— 而o1，则是在每一步都会多考虑若干个想法，比较之后再选定。

OpenAI 对 o1 的具体思考步骤语焉不详，大致可能 [7] 是这么一个过程 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091913/1854057130219321688/091913.png)

比如你问：月亮可以装多少个高尔夫球？

o1会先想问题的第一步，对这一步，它产生了比如说四个想法：1）首先我知道月球有多大；2）我知道月亮是奶酪做的；3）一个高尔夫球有多大；4）我不知道怎么回答但我可以猜……

o1自行判断，其中第3个想法最好。于是这就是它思考的第一步。

从第一步出发，o1 再考虑第二步。还是先产生四个想法，从中选择……

这里面有很多细节我们无从得知：每一步到底产生几个想法呢？如何把一个问题拆解成若干个步骤呢？模型如何决定每一步什么时候停止思考？OpenAI刻意保密。

但 OpenAI 明确告诉我们 [8]，这里用的是强化学习。我们讲《智能简史》的时候说过理查德·萨顿的洞见 [9]，强化学习的要点是，不是奖励事情的结果，而要奖励中间的步骤。AlphaGO下围棋是这么做的，o1也是这么做的。

换句话说，o1 等于是把下围棋的方法用于所有的推理问题。这两天我还看到一篇论文 [10]，斯坦福大学的几个很可能是来自中国的研究者用数学证明，这套「Transformer + 系统2思考」的方法可以解决“一切”问题！

这不就是 AGI 吗？所以人们都说 o1 是开启了一个新的时代。

用 OpenAI 应用研究领导人鲍里斯·鲍尔（Boris Power）的话说，o1更像是当年的 GPT-3：你可能不会立即感到它的价值，但那是因为它还很初步，连 OpenAI 自己都不能预测它能做什么 —— 但过不了多久，你就会感受到从 GPT-3 到 ChatGPT 那样的冲击力。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854060719738506824/091914.jpeg)

✵

o1 打开了一个新的烧算力的维度，开启了第二种缩放定律。我们看 [11] ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091923/1854093480674987868/091923.png)

以前大模型算力花费可以分为三部分 ——

- 预训练，用来记忆海量的语料，这是绝对的大头；

- 后训练，包括微调和对齐，教会GPT说人话，这一步的花费略少；

- 训练好以后平时对模型的调用，也就是推理，单次的花费是很小的。

这就好比训练一个学生。先让他花大量的时间读很多很多书，再花比较少的时间教他如何运用书中的知识，就算训练完成了。之后他在各种场景下说话，就都是脱口而出、直觉反应，毫不费力。

而 o1 就不一样。它的预训练也是学习语料，但在后训练中，除了微调和对齐之外，更重要的是通过强化学习掌握系统2思考的能力。OpenAI说模型在强化学习阶段主要学三件事：

1. 学会识别并纠正错误；

2. 把复杂的问题分解成更简单的步骤；

3. 如果当前方法无效，会尝试不同的方案。

这意味着o1的强化学习训练会消耗大量算力。而在模型训练完成后的每一次调用，因为推理过程是系统2思考，每次都要考虑每个步骤的多个想法，所以也要消耗很多算力。

我看有人做了测试，算个“1加1等于几”，传统模型只需要10到12个tokens，但用 o1（preview版） 算居然消耗了225个tokens。

而这些消耗都是值得的。研究显示，强化学习阶段的训练时间越长，模型解决问题的准确率就越高；推理思考的时间越长，答案也越好 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854057705744939352/091914.png)

这就是新的缩放定律！

中国有句话叫「平时多流汗，战时少流血」，用在大模型上就是如果你在训练中花更多时间，将来推理就可以更准确 —— 这句话还可以反着用：如果你训练的语料都用完了，以至于想多流汗也练无可练，那你还可以用推理时间进一步增强自己的能力！

以前的GPT就如同名校毕业生，上学的时候吃了很多苦学了很多东西，一旦参加工作就不怎么费力思考了，因为做的都是一些比较肤浅的工作。

而 o1，则如同是个科学家，上学的苦一点没少吃，可是参加工作以后还得费力思考。因为他面对的都是难题，他不相信直觉，算个1+1都爱想半天……以至于你什么时候看到他，他都是一副身心俱疲的样子。

所以这样的人才就是贵啊。ChatGPT中的 o1-preview 模型每星期只让用50次。

✵

o1 的思考能力，蕴含着一种新的危险性。

在ChatGPT中问 o1 一个问题，它会首先显示思考了多少分钟，再显示答案。点击那个分钟数，它会告诉你思考的过程 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854060776646580552/091914.jpeg)

但是请注意，这个可不是 o1 完整的思考过程，这只是一个摘要，甚至可以说只是它允许你看到的思考。真实的、全面的思考过程，被隐藏起来了。如果你非要问它，不但模型不给你展示，而且OpenAI会发邮件给你！说请你不要再问了，再问就封你的号 —— 而且我在 X 上看到，有人真的因此被封号了。看来 OpenAI 还没有找到安全地隐藏思考过程的办法。

可是为什么要隐藏思考过程呢？因为思考过程是未经「对齐」的。

OpenAI 的技术报告 [8] 承认，为了让模型能得到最好的结果，就没有限制它的思考，允许它把什么可能性都想一想。它可能会生成一些不符合道德和安全要求的想法 —— 但那都是*中间步骤*，我们只要确保模型*输出*的答案是对齐的就可以。这就是为什么必须隐藏完整的思考过程 —— 换句话说，思考过程是人家的“隐私”。

你想想是不是这个道理。其实人也是这样的，各种想法都可以权衡，只要别说出来就行。当你跟人发生冲突的时候，也许难免想要动手打他；当你见到一位性感美女的时候，也许有亲近的冲动 —— 但没关系，只要你没有真的实施行动也没把那些想法展示出来，你就还是好人，对吧？

如果把对齐理解成一种审查，那么你审查的应该是做出来的事儿和说出口的言论，而不是内心的想法。这没问题吧？

可能有问题。

在 o1 的「系统卡」报告 [12] 中有个小事件 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854057873248669256/091914.png)

模型曾经试图突破限制，取得资源，使用意想不到的方法实现目标。这个事件被评估为良性和可控的，没有导致危险，但至少这里有个苗头。

我们猜测，这就是当初山姆·奥特曼和伊利亚之间的分歧所在。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854057902240217432/091914.png)

奥特曼认为应该只对输出结果对齐，中间想什么东西随便想 —— 而伊利亚认为中间的思考也应该对齐。

对于不好的事儿，到底是连想都不应该想，还是只要不做就行？我们真的应该要求AI「非礼勿视，非礼勿听，非礼勿言，非礼勿动」—— 还要再加上一个「非礼勿想」吗？还是说思考本来就不应该受到限制？

这里没有哲学上绝对正确的答案。我认为这一切取决于你在多大程度上能确保一个什么都敢想的AI会主动限制自己的行动……这不是道德问题，这是技术问题。

✵

从 o1 发布到我这篇文章截稿，整整六天过去了，图灵奖得主、Meta的首席科学家、也是 GPT 的最大批评者，杨立昆（Yann LeCun）对 o1 始终保持了沉默。他最近在 X 上谈的都是美国大选的事儿。杨立昆一直说什么大语言模型不会真的思考、没有做计划的能力云云，现在支持他的人恐怕越来越少了。

我一直说，人的思考，也是基于神经网络直觉的，跟AI没有本质区别。以前GPT最大的问题就是只能直觉输出一次，没有系统2 —— 现在好了，人家也会考虑多个想法再权衡比较了。我们不知道，人脑到底还有什么功能是AI绝对没有的。

✵

o1 很可能带给 OpenAI 一个先发优势。其他公司做AI做得也很好，但我不知道为什么，OpenAI 有神通。它每次新出的东西都不但比别人领先一大块，而且是之前大家想都没想到的；过段时间之后别人也做出来了，人们开始说 OpenAI 已经不行了；但是下一轮突破又是 OpenAI 先做出来 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854059111272986968/091914.png)

如果说GPT是狭义相对论，o1就是广义相对论。爱因斯坦先提出狭义相对论，其他物理学家很快就都搞明白了，心想你要是不发现，我们也能发现 —— 可是大家都承认，广义相对论，非得是爱因斯坦才能做出来。

而这一轮，别人想要再跟上，可能就有点难了。

强化学习都是在实践中提高的。用 o1 的人越多，产生的思考步骤就越多 —— 那么只要解题成功，那些思考步骤就都可以用作将来训练模型的素材：有的是方法意义上的，有的直接就是新语料。这就等于说你每次问 o1 问题都在帮 OpenAI 生成新的知识。

2023年的局面还是只要你有足够的算力，就可以用开源的代码和公开的语料库训练一个自己的大模型 —— 2024年这个做法恐怕就不行了。OpenAI 拒绝透露模型的技术细节，其他公司能不能快速跟上，是一个悬念。

✵

我们已经追踪和使用AI这么长时间，但我还是有一种强烈的不真实感。那些奥数题、那些编程任务、那些科研工作，这么容易就全解决了？我们是生活在科幻小说里吗？

那你再想想，再过两三年，又会是一个什么局面。

所以不管你现在日子过得有多难，都一定要忍一忍，保存实力，一定要活过拐点！同时请继续关注我们精英日课。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091914/1854059142411524424/091914.jpeg)

注释

[1] 人的智能是AI的上限吗？（下）

[2] https://x.com/howie_serious/status/1835867038713340414

[3] https://www.maximumtruth.org/p/massive-breakthrough-in-ai-intelligence

[4] https://www.youtube.com/watch?v=M9YOO7N5jF8

[5] AI专题3：语言模型的开悟时刻；AI专题13：ChatGPT咒语心法

[6]《智能简史》6：系统2思维

[7] https://www.interconnects.ai/p/reverse-engineering-openai-o1

[8] https://openai.com/index/learning-to-reason-with-llms/

[9] 《智能简史》3：学习的革命

[10] https://x.com/denny_zhou/status/1835761801453306089；arxiv.org/abs/2402.12875 当然这里说的是数学意义上能解决的问题。

[11] 此图出自 Jim Fan：https://x.com/drjimfan/status/1834279865933332752

[12] https://openai.com/index/openai-o1-system-card/

### 💡 精华要点
- 1.OpenAI o1是专门为了解决数学和科学难题而优化的，它有了真正的「系统2」的思考，它在每一步都会多考虑若干个想法，比较之后再选定。
- 2.o1打开了一个新的烧算力的维度，开启了第二种缩放定律。
- 3.o1 的思考能力，蕴含着一种新的危险性，它真实的、全面的思考过程，被隐藏起来了，因为思考过程是未经「对齐」的。
- 4.o1 很可能带给 OpenAI 一个先发优势。
