## 只有两件事配得上花无上限的功夫

OpenAI 发布的 o1 模型给我一个感悟。我们知道AI研究和脑科学一直都在互相启发，我觉得 o1 对算力的新用法的道理，也可以用在个人成长上。

我们说了 [1]，o1 的一个突破是它开启了第二种「缩放定律（scaling law）」。「可缩放（scalable）」，或者说「可扩展」，是现在AI界最热门的词。如果你在这件事儿上投入的算力越多，得到的结果就越好，那么我们就说你这个事儿是可缩放的 —— 否则就是不可缩放的。

比如说一个工厂生产某种产品，投入的原材料越多，生产出来的产品就越多，如果这些产品都能按照一定的价格卖出去，那么这门业务就是可缩放的。你可以放心大胆地、加大力度地干，都是值得的！因为你付出越多回报就越大，你的努力不会白费。

但是世界上很多事情都是不可缩放的。比如说吃饭。本来你很饿，吃了十个饺子，就不是那么饿了，效果很好。你再吃十个饺子，就不是解饿的问题，而是快吃饱了。那你如果再吃五十个饺子，效果还会这么好吗？当然不会，你很快就吃不下了。

每吃到下一个饺子，带给你的好处是越来越小的 —— 这件事在经济学上叫「边际效益递减」，在硅谷叫「不可缩放」，意思都是一样的：这个事儿你做不大。吃饺子比赛的世界冠军，也吃不下一万个饺子。

再比如说健身。如果一个人平时不运动、身体很弱，他出来锻炼锻炼肯定会产生很好的效果。但如果你已经是个健身达人，每天都锻炼四小时，身体很健康，现在改成每天锻炼八小时，你的身体会不会再好一倍呢？不会的。人的身体只能发挥这么多锻炼效能，健身也是一个不可缩放的事情。

不可缩放的事情，不值得投入巨量的时间、精力和资源。适可而止就好。

如果你想要靠「用功」出人头地，你需要找个可缩放的项目。

✵

大语言模型之所以这么成功，就是因为它是可缩放的。语料越多、模型参数越多、训练投入的计算时间越长，模型的表现就越好。

这其实是一个奇迹，至少是个惊喜。正因为大语言模型有可缩放性，它才吃得下那么多的语料，才值得投入那么多的算力。当然世界上没有可以永远扩展的东西，比如说等到天下所有的语料都用光了，GPT的缩放定律也就停止了 —— 但是，那是一个极高的上限。

要做这种有高上限的事儿。

现在 o1 又打开了一个新的缩放维度，也就是在推理过程中使用算力。你给它一个难题，它会像 AlphaGo 下围棋一样一步一步地解决。在每一步，它会考虑若干个可能性，用之前强化学习得来的本事从中选择一个最好的可能性作为这一步的“走法”，然后再选下一步……每一步考虑的可能性越多，把每个可能性想的越深，投入的算力就越多，答案也会越好。

英伟达AI项目的资深研究科学家Jim Fan，对这个新的缩放定律有个评论 [2]。他说，o1 印证了萨顿当年在《苦涩的教训》这篇文章里说的：只有两个技术可以在计算上无限地缩放，那就是「学习」和「搜索」。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092421/1854550106565560232/092421.jpeg)

之前的 GPT 用 Transformer 架构吃语料属于「学习」；而 o1 在回答每一个难题的时候评估每一步的每个可能性，则是「搜索」。

学习学的是知识，搜索搜的是办法。

如果你财大气粗，想要用天量的算力去做天大的事儿，你需要一个高上限项目，那么萨顿说，你应该把算力投入到学习和搜索这两件事上。

✵

这个萨顿就是我们专栏多次提到过的强化学习之父，理查德·萨顿（Richard S. Sutton）。正是他提出了时序差分算法 [3]，才让AI真正学会了下棋这样的游戏 —— 而且还顺手解释了脊椎动物是怎么学习的。

萨顿这么厉害，可能是因为他是个跨界的学者，他本科学的是心理学。他把心理学的知识用在了AI上，又用AI研究中的洞见思考心理学。萨顿想问题想得非常深，是当今AI领域最受尊敬、影响力最大的研究者之一。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092416/1854532671145822120/092416.png)

萨顿2019年写的这篇博客文章，《苦涩的教训》[4]，可以说是这一轮AI革命的纲领性文献，我把开头截图在这里 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092421/1854550080795777012/092421.jpeg)

萨顿提出 [5]，人类专家通过设定规则的方式教AI去做什么，这个路线是走不通的。真实世界无比复杂，你人为提取出来的知识都是有限的、简化的，只会限制AI的发展。正确的做法是搞一个通用的架构，让模型通过算力生吃 —— 自己去发现知识和方法。

GPT 和 o1 可以说正是萨顿这个思路的胜利。也是在这篇文章里，萨顿说，用算力生吃有学习和搜索两个办法。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092416/1854532342580844532/092416.png)

✵

为什么学习和搜索是可缩放的呢？

学习，不管是深度学习神经网络、Transformer，还是强化学习，都是可积累的：见过的素材和局面越多，能力就越强。学过数学不耽误再学物理和生物，那些知识之间不会互相抵消，越多越好。

搜索，从计算的角度来说在空间上尽可能多地考虑一些可能性，在深度上对每个可能性做尽量详尽的场景模拟，合起来就是系统2思维。只要题目足够复杂，你想的时间越长，就会越接近最好的答案。

对比之下，那些有固定规则的算法则是不可缩放的。比如说你写一个餐馆收费系统，它无非就是做那么几件事 —— 这个系统再怎么升级，也不可能学会帮我写篇论文。再比如你做个电脑游戏，用一个算法驱动NPC说话，在游戏场景中他说的都挺好，但是他只会说那几句话 —— 用户再多、再怎么积累经验，它也不能跟人聊聊昨天的国际新闻。

固定规则、固定场景的事儿，吃不下很多算力。

✵

萨顿说的这个道理似乎也适用于人。如果我们把自己投入的时间和精力都当做算力，那么在最高程度上可缩放的事情，也是学习和搜索。

学习不会让你的大脑变重，正所谓艺多不压身。哪怕你已经读过很多书，这有一本新书还是值得你读。哪怕你已经拥有很多技能，也总是值得再多学一个。哪怕你经历过很多事情，到了陌生的环境还是会有一种新鲜感。

只要你花时间解决问题，你就是在搜索。找人、找信息、找方法、找最合适的那个材料、等待灵感、迸发创造，答案都是这么寻寻觅觅得到的。强化学习都需要先试错，试错就是在可能性的空间中搜索最优的策略。

学习是积累已知，搜索是寻找未知；学习是平日功夫，搜索是事上发挥。这两件事儿都是可缩放的，投入越多收获就越大，而且都需要亲身参与而不能委托他人。

当然人生有限，我们不能像AI那样穷尽语料和可能性空间的极限，总有一天你再也学不进新东西也不能再做长时间的思考 —— 但你绝不会后悔之前的投入。

因为可缩放就是可积累、可成长：因为你下功夫早、想得深，你就会达到别人难以企及的高度。等到别人也花了那么多功夫，你已经在更高的地方。

✵

对人来说，学习和搜索之所以可缩放，是因为它们都是大脑的活动。只有大脑的潜能能容得下漫长的扩展。

比如像练武术，因为要用到身体，可缩放性就比较差。你勤学苦练也许能成为一个综合格斗冠军，但是面对15个壮小伙你还是打不过。可是如果你不搞武术搞学术，用脑子，你的水平可以无上限提高，到时候别说以一当十，就是一万个大学生联合起来也顶替不了一个理查德·萨顿。

再比如说美貌。一个觉得自己长得不好看的女孩，如果花十万块钱去做整容，也许能起到一个立竿见影的效果。那你说我再花一百万，能不能让相貌特别出众呢？恐怕是不太可能。你说我再投入一个亿，能不能达到倾国倾城的效果，那是完全不可能。美貌的上限很低，而且贬值快。

但如果你能把美貌跟算力结合起来，脱实向虚，可缩放性就立即提高。比如你可以通过学习变得知书达理，通过试错搜索变得风情万种，一看就是很有智慧的样子，你的美貌可就厉害了。

所以我们在生活中一定要有这么一根弦，任何一个项目拿过来先看是不是可缩放的；如果不是，再看能不能跟算力结合；如果不能，那就是笨功夫，不值得投入太多。

✵

我看到很多人把自己苟在了不可缩放的低上限项目之中。

智商就是个不可缩放的天赋值。有些人乐中于做智力题，各种脑筋急转弯，想要让自己更聪明一点，其实都是徒劳的。初期的训练也许能让你参加智力测验的得分提高一点，但智商本质上是个很硬件的东西，难以明显提高。成年人应该追求的是智慧而不是智商，而智慧来自学习和搜索。

奥数，就是个低上限项目。有的数学家小时候顺手参加个奥数竞赛，取得了好成绩，但有很多奥数高手把一辈子最大的热情和精力挥洒在了竞赛题上，最终没有取得任何学术成就。奥数是限定在中学数学知识的范围内玩花样，缩放空间很小。

人设，也是不可缩放的。一个公司的高管说，我对公司最大的价值就是忠诚，因为我是公司的元老，我是跟公司一步一步走上来的，公司一定会继续信任我，因为我绝对忠诚可靠。行是行，但忠诚可靠是不可缩放的技能：你的忠诚度已经是100%，接下来还能怎样呢？我对我的键盘也是100%信任，但是键盘就只能是个键盘。

范围窄、套路固定的工作都是不可缩放的。一个高速公路收费员，几十年如一日做同样的事情，他不需要学习也不需要搜索，他没有经验。

极度专业化的技能虽然需要学习和试错才能练成，但是练成之后如果没有更高的成长空间，缩放性也很低。很多人是把一年的工作经验重复很多年。

按理说“网红”是个非常可缩放的职业，因为你的粉丝越多就越有可能带来更多的粉丝。但如果没有算力的支持，不能结合对新潮流的学习和新打法的搜索，往往都是昙花一现。

✵

人生漫长，只有两件事配得上花无上限的功夫：一个是学习，一个是搜索。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092422/1854554663525881844/092422.jpeg)

注释

[1] 关于 OpenAI o1 的几个认识

[2] https://x.com/drjimfan/status/1834279865933332752

[3] 《智能简史》3：学习的革命

[4] Rich Sutton, The Bitter Lesson, March 13, 2019. http://www.incompleteideas.net/IncIdeas/BitterLesson.html

[5] 我们专栏详细解释过这个道理 —— AI专题18：算力就是王道

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092416/1854532719464716064/092416.jpeg)

### 💡 精华要点
- 1.只有两个技术可以在计算上无限地缩放，那就是「学习」和「搜索」。学习学的是知识，搜索搜的是办法，你应该把算力投入到学习和搜索这两件事上。
- 2.学习是积累已知，搜索是寻找未知；学习是平日功夫，搜索是事上发挥。这两件事儿都是可缩放的，投入越多收获就越大，而且都需要亲身参与而不能委托他人。
- 3.任何一个项目拿过来先看是不是可缩放的；如果不是，再看能不能跟算力结合；如果不能，那就是笨功夫，不值得投入太多。
