## 《人人说谎》2:为什么非得是“大”数据

今天咱们继续说赛斯·史蒂芬斯-大卫德威茨的《人人说谎：大数据、新数据以及关于真实的你我，互联网能告诉我们什么》这本书。

不知道你有没有感觉，“大数据”这个词现在用得有点泛滥了，简直是浮夸。媒体是不管什么东西都要跟大数据扯在一起，研究者也特别爱吹嘘自己的数据量有多“大” —— 赛斯在美国参加学术会议就发现，这个研究者说自己用了有几个G的数据，下一个研究者就说他用了几个T的数据 —— 就好像数据量越大越厉害似的。

可是我们在《最简单的科学决策法》这期专栏里说过，有很多基于统计的判断决策，使用简单的几个指标就能做得很好，再上更多的数据也不能让判断更准确。

赛斯也举了个例子。一个烧红的炉子，你只要触碰一下就知道这东西危险不能碰；可是要想知道喝咖啡能不能导致头痛，你大概要喝上几千杯才能看出效果来。

如此说来，明显的效应只要小数据就够了，不明显的效应才需要大数据。

那难道说，必须用大数据才能得出的结论，都是不重要的结论吗？也不是。赛斯在书中列举了大数据的三个关键用处。

胰腺癌并不是一个特别常见的癌症，但是非常危险，确诊之后五年的存活率只有3%。如果能提前发现胰腺癌的迹象，尽早干预，就非常关键。那么当一个人身上出现了哪些症状，他就应该赶紧去医院检查一下，看看自己是不是得了胰腺癌呢？

有研究者使用微软的 Bing 搜索记录，找到了一些规律。这个研究方法是先锁定那些在网上搜索诸如“我被诊断出胰腺癌，我该怎么办”之类的人 —— 这些人十有八九就是真的得了胰腺癌。然后再看这些人几周、或者几个月之前，是否搜索过其他跟健康有关的症状。再把这些症状跟没有得胰腺癌的人平时搜索的健康问题对比，发现那些属于胰腺癌患者的独特症状，那就可能是胰腺癌的前兆。

研究者发现两组独特症状。第一组是背痛加皮肤变黄，第二组是消化不良伴随腹痛。单纯的背痛或者单纯的消化不良，并不表示得了胰腺癌，但是如果有皮肤变黄和腹痛的伴随症状，那就很可能是胰腺癌。

没有这些症状也可能得胰腺癌。但使用这些症状，可以提前锁定5%到15%的胰腺癌患者，这个比例不高，但也等于是多救了很多人。

而最关键的在于，这些前兆症状完全是由大数据发现的！一般人身边并没有很多得了胰腺癌的人。就算是胰腺癌患者，也不太可能记得自己几个月之前有过什么特别的症状。只靠人观察，很难注意到这些症状和胰腺癌的联系。但是大数据做到了。研究者可以像大海捞针一般，从大数据中发现这些关键信息。

我们知道好天气能让人心情愉快，而阴雨绵绵或者是寒冷的天气，则让人心情也糟糕。美国有些地方，像芝加哥的天气就常常是阴冷的；而有些地方，像加州和夏威夷，就常常是阳光灿烂。

好，那么现在有个问题：一个住在芝加哥的抑郁症患者，为了治疗抑郁症，获得好心情，他是不是应该搬家到夏威夷去呢？

这个问题的关键就在于我们*知道*搬到夏威夷会缓解抑郁症，但是我们*不知道*这个缓解的程度是大是小。我们需要一个量化的评估。

Google 的搜索数据可以帮助你。研究显示，住在夏威夷的人，搜索“抑郁症”的比率，比像芝加哥这样的寒冷地区低了40%。这个效果有多好呢？要知道，哪怕最好的抗抑郁药物，也只能让抑郁症的发病率减少20%。

那如此说来，如果你一到冬天就抑郁，最好的办法不是吃药，而是搬到夏威夷去。大数据告诉我们，搬家的效果，大约是吃药的两倍。

假设现在你有两个潜在的结婚对象。第一个人跟你有很多共同的朋友，第二个人则是一个圈外人，你不熟悉他/她的朋友，他/她也不熟悉你的朋友。那么请问，如果你想要的是长期的关系，你应该跟谁结婚呢？

直觉来说，也许应该选第一个人。这个人跟你的朋友们相处融洽，那就说明你们有很多共同点，想必结婚之后你们两个也会相处得很好。对吧？

不对。我们在 Facebook 上的交友状况，和单身/已婚/有男女朋友的状况都是公开的，研究者就用 Facebook 的数据做了一个分析。他们锁定那些是夫妻或者男女朋友关系的人，看看他们的朋友圈有多少重合之处。结果发现，朋友圈重合度越高的夫妻或者男女朋友，越有可能在一定时间之后宣布再次单身。也就是说，最持久的关系，往往是双方各自有不同的朋友圈。

那这到底是为什么呢？大数据不能告诉我们原因 —— 这是一个“反直觉”的结论。也许你身边有一对夫妇，感情良好，他们有很多共同的朋友，那你就应该知道，这只是特例。人很容易被身边的特例影响判断，而大数据不会犯这样的错误。

赛斯自己也有一个比较反直觉的发现。我们知道很多 NBA 球星是出生于贫困家庭，有很多还是来自单亲家庭，那你说，到底是单亲贫困家庭容易出球星呢，还是双亲中产家庭容易出球星？

这个问题非常不好回答。也许单亲家庭的孩子从小自立，拼搏能力更强；也许单亲家庭的孩子从小缺乏管教。真正的麻烦在于，根本就不存在每个 NBA 球员小时候的家庭状况数据。赛斯想了各种办法。他考察了每个球员都是在哪里出生的，然后看看这些出生地的贫富程度如何。他尽可能地追溯每个球员的家族历史，他甚至还通过球员的名字判断他是不是来自单亲家庭。原来还有一个规律，单亲妈妈总爱给孩子起一个比较怪的名字，而双亲家庭给孩子起的名就比较正常。

说到这我真是挺佩服赛斯。作为一个数据科学家，他不仅仅是用什么数学工具从现有的数据里发掘事实，他还能主动寻找各种相关的数据，他知道去哪找，而且还真找到了。就这样赛斯把几个数据库连在一起，才算是发现了答案。

答案是来自父母双全的中产家庭的球员更容易取得好成绩。这里面有两个主要原因。第一是这样家庭的孩子从小营养好，所以长得更高。第二是这样的孩子社交能力更强。这两个素质对打篮球来说太重要了。身高的优势就不用说了。关于第二点，咱们在《今朝有酒今朝醉，也是一种理性》这期专栏里说过，有些 NBA 球星从小养成的思维模式就不行，有点钱就忘乎所以，实在不利于事业成功。

所以，大数据确实能告诉我们一些我们本来不知道的东西。

我读这本书之前，最担心的问题是使用网上搜索数据获得的结论可能是有偏见的。毕竟你研究的都是“会使用搜索引擎的人” —— 这些人能有多大代表性呢？他们的文化程度，甚至收入水平，可能都高于一般人。再者，就算我在网上搜索了“nigger”这个词，那也不能说我就是个种族歧视者吧？也许我就是个想要知道美国人如何使用 nigger 这个词的科研人员。这样的情况该怎么排除呢？

读了这本书之后，我的担心就有所减弱了。首先现在互联网已经非常普及，可能大部分人都已经学会了上网。其次，大部分人在网上搜索的东西是和他自身状况相关的，像我这样纯粹出于好奇心去搜索的人应该很少。

更重要的是，我注意到研究者并没有把“搜索”的人和“不搜索”的人比较。他们是拿搜索结果和搜索结果比较。比如说，研究者并没有把在网上搜索“无性婚姻”的人所占的比例，就当成美国无性婚姻的比例 —— 他们是把搜索“无性婚姻”跟搜索“不幸婚姻”、“无爱婚姻”的人作比较，说明“无性婚姻”比“不幸婚姻”和“无爱婚姻”的问题都严重，这就的确比较有说服力。

这样说来，该考虑到的问题，大数据的研究者们可能也都已经考虑到了，那我们就在一定程度上可以相信他们的结论。当然一切研究方法都是有漏洞的，任何结论都只能作为参考。而这本书中的某些结论的确很有意思，咱们下次再说。

你察觉不到的规律，大数据能察觉到；你察觉到了的效应，大数据能评估这个效应的大小。更重要的是，大数据能得出一些跟我们的直觉相反，但却是更可信的结论。

![图片](https://piccdn3.umiwi.com/img/201705/24/201705241239257970956962.jpg)
