## 问答：「可缩放」就是「正反馈回路」吗？

> 读者 曾可达鸭：能不能理解为中心化的，比如树状结构，是坚固类；而去中心化的，比如网状结构，是反脆弱类？另外同样经历严重的经济危机，有没有同样成熟、可体制大不相同的国家的结果对比？

> 万维钢回复——

这不能一概而论。树状结构的国家非常依赖中央枢纽，理论上如果这个中央枢纽出了大问题，国家就出了大问题。比如说当初苏联的中央枢纽一声令下，整个苏联的党组织就解散了，地方上传檄而定，可谓毫无自组织能力；然后没过多久，苏联就解体了。

对比之下，美国每隔四年就发生一次改朝换代，但是全国马照跑舞照跳。有时候因为预算没批，联邦政府索性关门，可是国家的日常生活竟然几乎不受任何影响。现实是美国任何一个政党都不可能单方面让美国解体。

但具体到经济危机，尤其是金融危机来说，也不能说树状结构国家就脆弱，网状结构国家就反脆弱。

经济危机通常是人们丧失信心之下的连锁反应，资本家不投资，银行不贷款，老百姓不消费。对美国来说，政府除了弄个宏观的货币政策、财政政策刺激一下，并没有直接干预经济的手段，毕竟总统不可能直接命令资本家都去投资，所以手段很有限。

但是在树状结构国家，政府往往可以直接从微观上干预经济。比如新加坡的银行没信心，不愿意发贷款，李光耀可以直接打电话要求行长发贷款。银行这样被迫的乐观，也是真动作，再由国有企业配合着投资，可能信心就真的恢复了，危机就挺过去了。

历史经验表明，新加坡应对金融危机就是比美国更有办法。

但问题是，这是不是好事儿。如果经济危机不仅仅是个灾难，而是一种自然现象，是让经济良好运行的必要过程呢？有些企业效率低，本来就应该倒闭。你政府强行输血救市，让这些本来该被淘汰的企业没有被淘汰，这真的好吗？

一方面，为了应对危机而强拉的投资，可能会在将来造成产能过剩；另一方面，低技术企业虽然不盈利，却仍然能占领市场，这就让创新变得不值得。既然政府总能扮演大救星，市场的优胜劣汰机制还有什么意义呢？

所以临时的救市也许只是把危机往后推，也许将来问题更严重 —— 但也许不会。也许将来有新的技术、新的贸易机会出来，比如像中国加入WTO这样的大机遇，让今天的一切变得都不重要。就好像美国有人说的，如果我们相信AI会在几十年后创造巨量的财富，今天多借点钱都不叫事儿。

> 读者 闲来垂钓：万老师您好，我想向您请教一下。您说搜索无上限，但是现实中似乎不是这样的。因为现实中似乎常常有时间和时效性的限制，还有竞争。根据20-80法则，似乎20%的搜索能达到80%的效果，这么说来岂不是搜索具有边际效益递减的性质。您怎么看呢？

> 万维钢回复——

这取决于题目的难度和答案的分布情况。如果题目比较简单，或者答案就在容易想到的地方，那当然最先猜到的几个可能性就包括了正确答案，并不耗费多少算力。如果你让我在这个城里搜索几个有钱的客户，那好办，我们直接去富人区就好，这里很可能有80-20法则，大部分富人集中住在比较小的一片区域内。但并不是所有事物都这么分布。

计算机科学意义上的搜索，是指通常没有什么分布规律情况下的查找。比如这里有本二十万字的书，请问书中有没有、有多少处“敏感”内容，那你除了把书从头到尾读一遍之外别无他法，只能用算力生吃。

再比如爱迪生发明电灯，寻找适合制作灯丝的材料，据说就尝试了6000种植物；而设计电灯的思路则尝试了3000多个理论。

强化学习也许能帮助模型更好地判断先去哪里搜索，但是在根本上，搜索就是个必须堆积算力的事情。

这也是为什么搞有高价值的发明创造是个很贵的事情，你就得投入这么多研发成本才行：这里没有「四两拨千斤」。

有些传统小说喜欢描写聪明人不花钱就能办大事，现实通常不是这样的。

> 读者 孙牧逸：这个“可缩放”让我想到“正反馈回路”，它们是一回事吗？

> 读者 身斗小民：万老师，「可缩放」是一分耕耘一分收获还是具有复利效应？过往的积累会让后续算力跟语料增加，从而让AI的智能指数上升吗？

> 万维钢回复——

如果一个系统是由正反馈回路驱动的，那就意味着当它的规模变得更大的时候，它会有更大的动力继续扩大规模，这个系统自然就是可缩放的。但可缩放不一定都是正反馈回路驱动的。

「复利效应」就是一种正反馈回路。当你存了很多钱的时候，不但那些钱的利息是一笔钱，而且那些利息所创造的利息也是一笔钱，可谓是富者越富。个人的学习也具有复利效应，因为你的知识越多，你就越善于学习新的知识，你会更容易把新知识和旧知识连接起来，乃至于产生创造力。还有像细菌的增长、人口的增长，都有一定的正反馈效应。

单纯的正反馈是一种极为快速的增长，是「指数（exponential）增长」，也就是数量跟 e 的 r✖️t 次方成正比，其中 r 是增长率，t 是时间。画出图来是一条向上凹的 J 形曲线，越长越快。

但是「可缩放」不一定要求非得长的很快。比如街角开了家奶茶店，每天固定卖一千杯奶茶，全都能卖掉，但是因为周围有别的奶茶店竞争，这个生意很难扩张 —— 但是毕竟可以一直做，所以也可以说是可缩放的。这就是「线性（linear）增长」，也就是数量跟时间成正比。

下面这张图中蓝色是线性增长，红色是指数增长。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092722/1854832699307509672/092722.png)

指数增长也许在初期看上去比较慢，但是后劲儿越来越大，所以只要能坚持下去就势不可挡，线性增长则是一直平稳的。

你可能觉得指数增长是最理想的，其实没那么简单。没有人是靠把钱存在银行里吃复利致富的，那个增长指数太低了。拿开公司来说，如果要实现长期的指数增长，就必须把每年赚到的钱按照固定的比例投资出去，把实力变成增速。初期可能比较容易，你只要扩大生产规模、多开几家分店就行。但是业务很快就会到达瓶颈，也许因为市场只有这么大。这时候你为了保持增长就必须开展新业务，而新业务是你所不熟悉的。你强行投资，就面临风险。

所以真实世界中的财富不是按照指数增长分配的，而是以「幂律（power law）」分布在人群之中。我们大约可以近似地说，富人的财富是以幂律的形式增长的，也就是数量正比于时间的多少次方。

幂律增长是多种因素复杂互动，特别是结合了随机性的作用构成的。因为你的投资不会一直正确，所以你不会真的指数增长，但是有钱人的确更容易变得更有钱，所以考虑到赚钱、保住钱和赔钱的多个可能性，这是一种幂律增长。现实中，像公司的规模、网红的粉丝数量、网站的流量、论文的被引用次数这些，都呈现幂律分布。

幂律增长的一个有意思的特点是如果你用对数坐标图画，它就是一条直线。可以理解成对数意义上的线性增长。

大语言模型的能力随着算力的增长，也是幂律增长。大语言模型的预训练并没有内部的正反馈机制，不是像人那样越学越聪明，而是一股脑地把所有语料都塞给它，相当于填鸭式教育。当然模型越大、参数越多能吸纳的语料也越多，所以这很像是“富者越富” —— 但这个富是来自外力的投入，而不是模型自身的正反馈，所以不是指数增长。

不过在预训练之后，模型进行后训练，包括对齐，特别是像 o1 要进行强化学习的思考训练，就有正反馈效应了。宏观上，这体现在人们使用模型的次数越多，留下的训练素材就越多，模型就会变得更好 —— 但这个正反馈仍然来自外部而不是内部，而且这只是推理能力而不是知识能力。

一般来说，幂律增长比指数增长慢，比线性增长快。下面图中描写了三种增长的样子，这些都叫「可缩放」 ——

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092722/1854832861442512672/092722.png)

它们共同的特点是都在长 —— 只要能长，你就有前途。

> 读者 Ellit：请问万Sir，如果某一天熬夜，没睡好的话，第二天就很难集中注意力，学东西也很吃力。参考今天这一讲的内容，是不是可以理解为大脑如果没有把头一天产生的垃圾排除干净，就会影响第二天做事或者学习的效率？婴儿睡眠时间长，是因为大脑产生的垃圾多，老人睡眠时间短，是因为产生的垃圾少。这个结论是否成立？顺着这个思路推演下去，如果开发一款药物，或者一个微型机器人，能够帮助我们把大脑里每天产生的垃圾排除出去，那样是不是就不用睡觉了？

> 万维钢回复——

你这个思路很有意思，但是有点想多了，就好像是刚遇到一个女生就想好了跟她结婚后第二个孩子的名字……

首先这个机制还在研究之中，并不是那么清楚。简单说，高强度用脑会在大脑中积累谷氨酸，而谷氨酸会带来认知疲劳，影响决策能力。从这一个意义上你可以说谷氨酸是一种废物或者垃圾。但谷氨酸并不是什么邪恶物质，它就是一种很常见的神经兴奋物质，对大脑的正常功能很有用。不是这个东西本身不好，是多了才不好。

而且大脑有个机制，也就是在睡眠或者在休息的时候使用脑脊液来清洗谷氨酸。但这可不是说我们是为了清洗谷氨酸才选择睡觉，睡觉还有很多别的作用。婴儿不怎么用脑，产生的垃圾只会更少才对。

那你说有没有可能弄个自动的什么外接系统，能随时调节谷氨酸水平，这样大脑就不累了呢？这恐怕是不太行的。我们一不知道除了谷氨酸还有没有别的机制让大脑疲劳，二不知道脑脊液还有没有别的作用，三不知道谷氨酸长期聚集到底有多坏的影响。我理解这一切都还在研究之中。

但总的来说，我们知道大脑需要休息，需要睡眠。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024092722/1854831376457582504/092722.jpeg)
