## 《智人之上》5：算法有责任吗？

想象你正在某个社交媒体看关于俄乌战争的新闻。在评论区，你发现有个叫“粉红色的闪电”的网友的发言是在讲歪理，就忍不住跟帖指出了他的错误。没过多久，这哥们回帖了，说我们中国人就该支持俄罗斯！你一听哪有这样的道理？就跟他辩论起来。你们从俄乌战争聊到日本核废水，再聊到特朗普，越说越热闹。

你发现这位“粉红色的闪电”满脑子都是错误的事实，但是他很有耐心，甚至还有点文采，以至于他的言论获得了不少点赞。你感觉自己有点不是对手。你渐渐心力交瘁，心想这人怎么不累呢？难道他不用上班吗？

你终于意识到，“粉红色的闪电”是个AI聊天机器人。

用赫拉利在《智人之上》书中的说法，你在这件事上连输了两次。一个是你在试图说服一个根本不可能被说服的对象，你浪费了时间；一个是你在帮着AI了解你，它会悄悄地调整策略，从而对你和围观看帖的人产生更大的影响。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091713/1853871685342665032/091713.webp)

前面我们回顾了人类历史上信息的作用，总结来说有两个关键论点 ——

第一，虚假的信息比真实的信息更具动员能力；

第二，信息的自由流动未必会加强民主，反而科技有可能加强集权。

这一讲开始我们将目光投向现在和未来。信息已经不再只是人与人之间的事，AI的加入让局面更加复杂。我们的问题是：AI本身，应该为局面负责吗？

✵

还是先说一段历史。缅甸这个国家90%的人口是佛教徒，还有一部分穆斯林。有一个穆斯林社群，叫罗兴亚人，跟佛教徒爆发了连续的暴力冲突。前面的账咱们算不明白，长话短说，在2016到2017年间，一个叫做“若开罗兴亚救世军”的小型伊斯兰组织，发起了恐怖袭击，杀害和绑架了几十名非穆斯林平民。

这件事引发了佛教人群和缅甸军政府激烈的报复，基本上是对罗兴亚人搞了一次种族清洗：成千上万人被杀，几万人被强奸虐待，几十万人被赶出了缅甸成为难民。

这个报复力度绝对是太过了，所以国际社会都在谴责缅甸政府。而被一同谴责的，还有Facebook。

原来当时数百万缅甸人都把Facebook作为主要的新闻来源，正是因为他们在Facebook上看到各种描写罗兴亚人暴行的视频，才激发了愤怒之情 —— 而那些视频，很多都是假新闻。有的缅甸人可能本来只想听首歌，却被Facebook推荐了假新闻，才想要去报复。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091713/1853871717554900552/091713.png)

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091713/1853871743324698968/091713.png)

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091713/1853871769094527304/091713.png)

那你说Facebook为什么要这样做呢？Facebook在缅甸有1800万用户，而公司负责缅甸语内容审核的只有五个员工，根本就管不过来，更没想要煽动仇恨。当时Facebook唯一追求的目标是让用户参与度最大化……而算法自动发现，那些能带来愤怒情绪的内容，最能吸引用户参与，于是就自动推荐了更多这类内容，仅此而已。

Facebook公司并没有明确的恶意。但是赫拉利认为，不但Facebook应该承担责任，而且那个算法本身，也应该承担一部分责任。

✵

赫拉利特别强调这不是把算法拟人化，但是他说的的确是拟人化的味道。

咱们打个比方。上峰命令一支军队快速攻下一座城。结果在攻城过程中，军队杀害了大量的平民。请问军队应该对杀害平民负责吗？

当然应该。他们是在执行命令不假，但是每一个具体的开枪动作可都是他们自己决定的。当初的命令可不是屠杀平民，而是攻城 —— 是军队为了执行命令，而决定杀害平民。既然是你决定的，不管怎么说你都得至少承担一部分责任。

赫拉利把同样的逻辑用在了算法身上。是，算法收到的命令只是最大化用户参与度，并没有被要求去煽动仇恨。但是，算法选择了煽动仇恨的方式来达成目标，这个选择是算法自己做出的决定。所以，算法也应该承担部分责任。

赫拉利承认AI没有意识，但是他认为，AI有做决定的能力。我觉得在这个问题上较劲意义不大，毕竟就算你让算法负责，你又如何追责呢？把算法关三年禁闭吗？它又不会感到痛苦……

我猜赫拉利真正想说的是，我们应该*担心*的不仅是公司，而且是算法本身。

✵

赫拉利这本书2023年就基本写完了，那时候大语言模型还没有广泛应用。我们看一个更近的例子。

我最近看到一个报道 [1]，说在江西南昌有这么一个人，专门靠“创作”营销号文章赚钱。其实文章都是用AI生成的，投到像头条号之类的平台供人阅读。平台会根据阅读量和读者互动量给他结算收益。平均而言，他一篇文章能挣到1.43元，这听起来是微不足道，但是 ——

他每天通过自己的五家MCN机构运营842个账号，发表4000到7000篇文章！

所以他的日收入超过一万元。那些文章的成本才是真正微不足道的，花一分钱AI能给你生成七篇。

这门生意之所以被警方关注，不是因为他用AI写文章，而是因为AI在造谣。比如有的文章说西安市发生了一起爆炸，实际上根本就没有这个事 —— 生成这种内容，只是因为更容易吸引眼球而已。

这门业务目前还需要人的参与，比如输入几个关键词什么的 —— 尽管只需要一个人就够了 —— 那如果AI更聪明一点，自己判断什么关键词最有吸引力，然后自己生成内容自己发布呢？

再进一步，如果平台主动全都让AI写新闻呢？如果AI成了你跟世界打交道的唯一用户界面，你还能指望看到真实的东西吗？

到那时候，是不是你要买什么东西，选择哪个品牌，支持哪个政客，难道都被AI决定吗？AI会把整个世界变成巨大的信息茧房吗？

✵

这还只是AI写新闻。如果再进一步，审查新闻的、看新闻的、根据新闻采取行动的也都是AI呢？

赫拉利设想了一个场景。一个AI写了一个假新闻，说发生了一起灾难性事件，发表出来了。这个假新闻在被AI审查员删除之前，已经被其他几个AI看到。其中一个AI根据这个消息对金融市场做出一个判断，并且采取了某种操作。它的操作又被其他AI推波助澜……结果人类还什么都没反应过来，金融市场已经崩溃了。

这个局面的特别之处在于，没有任何一个人、一家公司，有制造混乱的意图。完全是AI的操作。

像这样的事情，我们应该怎么管理呢？目前还缺少相关的立法和监管制度。又或者我们从根本上就无法控制AI。

所以赫拉利很担心，他说：「我们正在谈论的是*人类*历史可能迈向终局。这不是说历史将被画上句号，而是由人类主导的部分即将终结。」

✵

前面说的还是没人想要作恶的情况。如果有人要作恶，那会怎样呢？

上世纪70年代，齐奥塞斯库统治下的罗马尼亚，基本上是个特务国家。罗马尼亚全国只有两千万公民，但是它的特务部门有四万名专业特工，还动员了四十万名民间线人，还要求老百姓互相监督举报。你的亲戚、朋友、同事，甚至家人，都随时可能打你的小报告。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091713/1853871815265406536/091713.png)

当时极端到什么程度……罗马尼亚引进了计算机，政府认为计算机是危险的，于是在每个操控计算机的工程师身边，都安排了一个专人，进行实时监视。你在那操作计算机，他就在旁边看，也不跟你说话，就这么盯着你都做了什么，一边还记笔记……就这样一直监视了13年。

听说有老百姓给欧洲的电台写信批评齐奥塞斯库政权，政府就下令收集所有公民的笔迹，要看看到底是谁写的信。又考虑到可以用打字机写信，于是规定全国所有的打字机必须注册，还要登记“打字机指纹” —— 也就是每台打字机独特的打字痕迹……

你可能觉得这太可怕了，但其实并不可怕。这套监控系统不可能好使，因为成本实在是太高了。罗马尼亚安全部门每天收到两千万份报告！它怎么分析和消化那么多信息？

但是，可是，现在的问题是，AI可以帮他们。

首先搜集数据很方便，你甚至不需要民间线人。人们都是用手机交流，各种操作直接就能上传。

然后处理数据也方便，AI可以用模式识别自动判断你是否危险。比如美国早在2015年就有个系统叫“天网（Skynet）”，通过分析公民的各种行为数据判断谁是疑似恐怖分子。

再者，还有生物识别技术，可以比如说追踪你的眼球运动、实时测量你大脑的关键区域的活跃程度，来判断你的政治倾向……

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091713/1853871858215074136/091713.png)

✵

最可怕的还不是人用AI作恶，而是AI直接输出新秩序，改造我们的社会和文化。到时候不但不是AI适应人类，反而是人类要适应AI的新秩序。

现在某些国家，比如伊朗，就已经建立了无处不在的监控系统，有的国家还发明了社会信用评分系统。这些系统会把你的一举一动都纳入某种考评。

你的驾驶习惯会影响你的汽车保险费用；你做个好人好事能提高社会信用分；你的信用分要是足够高就能享受比如考大学加分之类的特殊待遇……AI还可以设计出别的规则改造社会。

请问你对这个赛博朋克时代有何感想，你是否愿意每时每刻都在参加竞争呢？

我们说民主制度应该尽量给老百姓自由，实在非得表决什么，也必须事前有讨论，事后有修正 —— 如果未来的讨论和修正都不是在人与人之间，而是在人与AI之间，民主还能存在吗？

✵

我同意这些担忧都是有必要的，但我觉得赫拉利大大高估了AI对人类自由可能带来的限制，同时也低估了人的自主性。赫拉利认为AI可以通过生成内容改变人的思想，通过数据分析精准预测人的倾向性，然后有针对性地影响人。而我怀疑这些本质上是做不到的。

我们专栏第四季讲过雨果·梅西尔（Hugo Mercier）的《你当我好骗吗》（Not Born Yesterday）一书，赫拉利可能没读过或者至少没有认真对待那本书。

梅西尔也考察了历史，比如在纳粹德国，宣传部门整天给老百姓洗脑，但是效果其实很有限。

纳粹的宣传的确掀起了仇恨犹太人的情绪 —— 但那是因为很多德国人本来就反感犹太人；那些原本不反感犹太人的听众，只会对宣传有逆反心理。宣传只是强化，而不是植入了情感；只是鼓励，而没有发明暴行。

纳粹还曾经大肆宣传要给全国的残疾人实施安乐死，老百姓根本不买账，直接就给抵制了。纳粹宣传要求全民为战争机器贡献力量，结果人们阳奉阴违。

所谓「谎言重复一千遍就成了真理」，其实并不成立。纳粹做不到，难道AI就能做到吗？

再比如说，的确有家公司曾经试图用Facebook的数据分析，定向投放信息来左右用户对候选人的态度，但是影响到的人数很少，而且“实际作用几乎为0”。

现实是，如果人们不认识这个东西，你通过广告宣传可以让人认识它，也许从而就喜欢上它；但是如果人们已经认识并且不喜欢这个东西，你再怎么广告宣传也不太可能让人喜欢它。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091713/1853871930155800904/091713.png)

以我之见，老百姓「喜欢」什么，是世界上最不可捉摸的事情。好莱坞一直在探索制作“必然受欢迎”的电影的算法，但是他们根本找不到。这就不是数据和算法的事儿：可能我今天挺喜欢这个，你一说我喜欢，我明天就不喜欢了。

所以我不认为未来像赫拉利说的那样危险。AI再强大，想要操控人的思想也不容易。

但是AI还有别的危险，咱们下一讲再说。

![图片](https://piccdn2.umiwi.com/uploader/image/ddarticle/2024091713/1853871950556876360/091713.jpeg)

注释

[1] James，起底自媒体界的“江西帮”：批量起号，AI放量，甲方最爱。娱乐资本论（ID：yulezibenlun）公众号 https://mp.weixin.qq.com/s/41qa_N-w8HYm8y0-gMtGLg

[2] 相信的科学5：宣传和广告有用吗？

### 💡 精华要点
- 1.当信息已经不再只是人与人之间的事，AI的加入让局面更加复杂。赫拉利承认AI没有意识，但是他认为，AI有做决定的能力，应该为造成的局面承担一部分责任。
- 2.赫拉利的担心，不是人用AI作恶，而是AI直接输出新秩序，改造我们的社会和文化。到时候不但不是AI适应人类，反而是人类要适应AI的新秩序。
- 3.「我们正在谈论的是*人类*历史可能迈向终局。这不是说历史将被画上句号，而是由人类主导的部分即将终结。」
