## 《人人说谎》7:意料之外的有用和没用

今天咱们继续说赛斯的《人人说谎》。经过前面几讲你大概已经体会到了，有些用大数据得出的结论，跟我们的直觉相反。今天咱们再说几个 —— 这一次说的就不是简单统计得来的了，而是随机测试得出来的。这个好处是有明确的因果关系 —— 我们就能知道一个东西到底是不是真的有用。

咱们先搞个小测试。这次我要问你三个问题 ——

（1）下面这张图是2012年 Google 在搜索结果页面中加入的网页广告 ——

![图片](https://piccdn3.umiwi.com/img/201706/01/201706011244088539788521.png)

其中每条广告的右侧，有个正方形的框里的小箭头图案。请问，加入这么一个小箭头的设计，对增加广告点击率有用吗？

（2） 前段时间有篇比较火的文章，百雀羚花了重金做了很多广告，但是销售状况并没有获得很大提升。那么请问，做广告真的有用吗？—— 当然，也许百雀羚做广告的方式不对。那么最常见的广告方式，也就是电视广告，有用吗？

（3）现在马上就要高考了，可能一两分的差距，一个人能上的大学就有天壤之别。请问，名校对人真的有用吗？

请你大概估计一下每个东西有用的程度，然后按照从没用到有用给排个序。

现在我们就看看大数据是怎么说的。

想要获得真正的因果关系，最好的办法是搞一个随机测试。比如说，我想知道到底是不是吸烟导致癌症，我就应该找一帮人，把他们随机分成两组，然后让一组人坚决不吸烟，另一组人必须吸烟。这样坚持几十年之后，看看吸烟这组的人，肺癌患病率是不是显著比不吸烟的一组多。如果多了，那就肯定是吸烟导致的 —— 因为除了吸烟之外，这两组人不应该有任何区别。

这种随机测试，特别是大规模的随机测试，是医学研究中最有力量的科学方法。可是在真实生活中搞随机测试非常困难，要消耗很多人力物力，投入很长的时间 —— 再说也没人愿意被强迫吸烟啊。

但是在互联网上搞随机测试非常方便。按赛斯的说法，Google 最早是在2000年2月27日，第一次引进了对网页设计的随机测试。

比如说，Google 想用蓝色网页，但是到底浅蓝好还是深蓝好呢？Google 就可以随机地让一部分用户看到浅蓝色网页，另一部分人看到深蓝色网页，然后比较哪一组用户在这个网页的点击率更高。一旦有了明确答案，就统一使用这种蓝色。这就是所谓的“A/B测试”，咱们专栏以前多次提到这个方法。

仅仅2011年一年，Google 就搞了7000次A/B测试。它甚至测试过41种不同深度的蓝色！这个测试把网页设计师给惹恼了，设计师愤然辞职！咱们想想也是，判断到底哪种蓝色好看，难道不是设计师的职责吗？你什么都搞测试，这简直就是对设计师专业素质的侮辱。

但是事实是，A/B测试非常有效。回到今天开头的第一个问题，箭头的设计到底有没有用？答案是非常有用。Google 测试过改变广告的字体、把字居中排版、在广告里面加入网页评分等等，结果都没用，最有用的办法就是在广告里面加入小箭头图案。

这个箭头图案的效果到底有多大，是 Google 的商业秘密，我们不得而知。但是有一个更著名的例子。下面这个图，是2008年奥巴马第一次竞选总统的时候，他的竞选网站筹款的页面 ——

![图片](https://piccdn3.umiwi.com/img/201706/01/201706011246136209734159.png)

网页非常简单。上面是一张奥巴马的照片，下面是两个输入框，分别让你输入你的电子邮件地址和你家的邮政编码。然后紧接着是一个按钮，点击这个按钮，你就加入奥巴马的助选阵营，然后系统就会提醒你捐款。

问题在于，照片应该用什么样的照片，按钮又应该是什么样的按钮呢？这个网页是一位 Google 前雇员设计的，他想到的办法，当然是 A/B 测试。下面是测试过的三张照片和三个按钮设计 ——

![图片](https://piccdn3.umiwi.com/img/201706/01/201706011246494259031316.jpg)

三张照片，一张是很大的奥巴马，背后是竞选的旗帜和群众；一张是奥巴马一家人坐在一起；一张是比较小的奥巴马，身处旗帜和群众中间。三种按钮设计，第一个是“现在加入我们”，第二个是“了解更多”，第三个是“注册”。三张照片加三个按钮，排列组合下来就有九种情况。这太容易 A/B 测试了。

最后测试出来的效果图是这样的 ——

![图片](https://piccdn3.umiwi.com/img/201706/01/201706011247283481961232.png)

照片是奥巴马和家人坐在一起，按钮是“了解更多”。你猜这个选择值多少钱？

这个测试出来的照片和按钮组合，让给奥巴马捐款的人数增加了 40%  —— 相当于多了6000万美元的竞选经费。帮奥巴马设计网页的这人后来自己开了个公司，专门给人搞 A/B 测试。

咱们仔细想想，这东西有点反直觉。这么小的改动，竟然有这么大的效果。我们是获得了因果性 —— 多出来的点击量的确是网页设计带来的，可到底为什么呢？这张照片、这个按钮比别的照片和按钮好在哪呢？我们不知道。

现在A/B测试更多的被运用于选择新闻标题，而如果你看看那些被选中的标题和落选的标题，你很难想象为什么这个标题就会比另一个标题带来更高的点击率。

现在大家公认的理论是，干脆你就不要想“为什么”，全听测试结果的就对了。

你想过没有，广告其实是一个谜。

某个品牌铺天盖地做了很多广告，然后它的产品卖出去了很多 —— 请问你能说这是广告的作用吗？不能。

可能是人们看了广告才去买他家的产品。但也可能是他家的产品本来就好，不做广告也能卖得很好。就算是广告能增加销量，多出来的销量值不值那么贵的广告费，你也不知道。

商家一直相信广告，但是经济学家始终有点怀疑。想要说服一个经济学家，最好的办法还得是随机测试。可问题是哪个公司也不愿意花那么多钱陪经济学家玩，这样的实验始终就没人做过。

2012年，经济学家终于找到一个办法：自然实验。所谓自然实验，也就是“自然的随机实验” —— 你没有主动搞随机分组，但是有一个什么突发的自然力量，带来了一种随机分组。

这个研究是赛斯本人参与了的。美国一年一度最重要的电视节目是超级碗，也就是美式足球的总决赛，就好像中国春晚一样。超级碗中场休息的电视广告是最贵的。

超级碗广告是在半决赛之前就已经卖出去了。也就是说，商家买下广告权的时候并不知道哪两个球队会进入超级碗 —— 这就给经济学家和数据科学家提供了一个自然实验的机会。

比如说，一场争夺超级碗参赛权的比赛是在新英格兰爱国者队和巴尔的摩乌鸦队之间进行。爱国者队的主场在波士顿，如果爱国者能进超级碗，超级碗在波士顿地区的收视率将会提高十个百分点。广告商不知道爱国者能进还是乌鸦能进，不会事先特别照顾波士顿地区。那么如果超级碗广告真的有用，超级碗之后，在超级碗上做了广告的商品在波士顿地区的销量上升，应该比没进超级碗的地区高出一些。

赛斯选用的商品是电影。结果非常明显：广告有用。考察多次超级碗的数据，哪个地区的球队进入超级碗，在超级碗上做了广告的电影在哪个地区的票房就会显著高于其他地区，而没在超级碗上做广告的电影在各个地区的票房收入差不多。

而且广告的作用还很值。超级碗上一条广告的费用是300万美元，但这条广告增加的电影票房，则是830万美元 —— 投入产出比是1 : 2.8，可以说是一个非常好的生意。

还有人统计了啤酒和饮料在超级碗的广告，结果类似，投入产出比差不多是 1 : 2.5。

如此说来，电视广告虽然贵，但是的确非常有效。

那我们知道，美国大学也是非常贵的 —— 大学是不是也很有效呢？

名校有用吗？当然，如果你是名校毕业生，你的收入水平将会比一般大学的毕业生高很多。有人统计，哈佛毕业生的平均年收入是12万3千美元，而宾夕法尼亚州立大学毕业生的平均年收入是8万7千美元，所以显然是哈佛厉害。

但这里有个问题。哈佛的录取标准比宾州州立大学高很多，好学生才能进哈佛。可如果这些学生本来就厉害，那他们就算不上哈佛，去个一般的大学上学，难道就不能获得更高的收入吗？

哈佛这样的名校，对学生的能力，到底有没有一个“附加值”的作用呢？像这样的问题，也有办法随机试验。

咱们先说高中的。全美国排名第一的公立高中，是纽约市的史岱文森高中（Stuyvesant High School）。这个学校很像中国的官办重点高中，录取学生不看什么家庭背景、推荐信和课外活动，只看考试成绩，而且是一考定终生。它每年在全纽约举行一次统一的入学考试，27000人报考，录取率只有5%。

所以你千万别说美国没有应试教育，纽约初中生为了进史岱文森高中可是挤破了头。在为了上好大学就要先上个好高中这件事上，美国人民和中国人民可以说是有共识的。

但是有经济学家，问了一个绝大多数人从来都没想过的问题：上这种重点高中真管用吗？

如果你比较史岱文森高中的学生和普通高中学生考上名牌大学的比例，那显然是史岱文森高中更厉害 —— 但这里面有个同样的问题：也许是因为史岱文森的学生本来就厉害。所以真正的问题在于，史岱文森高中，到底对学生有没有一个“加持”的作用？

经济学家想到一个好办法。有些考生是只差一两分没考上史岱文森高中，有些考生是只比录取分数线高了一两分而考上了史岱文森高中 —— 这两种人的实际水平，应该几乎没区别。那这就提供了一个自然实验：经济学家只要跟踪这两拨人，看他们日后考大学的情况，不就知道上史岱文森到底有没有用了吗？

大数据分析显示，全美排名第一、录取率只有5%的大名鼎鼎的史岱文森高中，对这些幸运考上了的学生的“加持”作用，一点、都、没、有。

这两组学生的大学先修课程分数、大学入学考试（SAT）成绩、以及他们最后去了哪些大学，没有任何区别。连微小的差距都没有！

也就是说，如果你差一两分落榜了，千万别在意，考没考上对你的前途根本没影响。

这个结论非常令人吃惊。难道说好高中里面的好老师、好同学、更难的课程，对人一点影响都没有吗？—— 至少是没有*可观测*的影响。

而且大学也是同样的道理。另一个研究 —— 我以前在《高中是个把人分类的机器》这篇文章里说过 —— 考察那些被名校录取了但是没有去名校，选择了一个一般学校的人。比如说，哈佛和宾州州立大学同时录取了你，但是你可能觉得哈佛学费太高，或者你的女朋友在宾州州立大学，总之你没去哈佛，去了宾州州立大学 —— 那你的前途会受到影响吗？

答案是没什么影响。经济学家跟踪调查显示，这些有能力去名校而没去名校的人，日后的收入水平跟去了名校的人基本一样。

如此说来，什么牌子、什么名师、什么校友会，这些名校的光环加持，至少对个人收入来说，没有可观测的效应。牛人到哪里都是牛人。名校并没有“培养”牛人，名校只不过“选择”了牛人。

赛斯最后说的例子是巴菲特。巴菲特当年一开始上的是沃顿商学院，那是美国最牛的商学院之一。可是巴菲特时间不长就转学了 —— 因为他觉得沃顿的学费太贵！巴菲特转学去了内布达斯加·林肯大学 —— 在美国地位大概相当于中国的贵州大学 —— 沃顿痛失股神。

我就想起来校长们爱说的一句话：“今天你们以学校为荣，将来学校会以你们为荣！”—— 校长你错了，今天学校就应该以我们为荣。

不知道开头的三道题，你猜对了几道呢？现在大数据的结果，让我排列的话，名校最没用；电视广告非常有用；而最有用的则是网页设计：几乎是零成本的改动，竟能带来巨大的营收差异。

请注意，这些结论应该仅供参考，任何生搬硬套都是有风险的。美国的名校不好使，可是美国的市场经济比较完善，效率很高，是人才总能出头 —— 那么中国的名校是否也一样不好使呢？

电视广告，对电影和啤酒饮料非常好使，但是对其他是商品是不是一样好使呢？超级碗的广告好使，但超级碗广告的关注度也是最高的，别的时段的电视广告、电视以外其他形式的广告，也一样好使吗？

网页设计对奥巴马竞选很有用，那对“得到”也很有用吗？比如说咱们这个专栏，我再换一张照片，订阅人数能显著增加吗？或者这篇文章，我换个标题，点击率能显著提高吗？……真希望“得到”能提供 A/B 测试功能啊。

这些都不一定。任何现成的理论都不一定好使。最好的办法，当然还是做个随机测试。还是昨天那句话，我们最大的收获不是这些结论，而是方法。

![图片](https://piccdn3.umiwi.com/img/201706/01/201706011255436022345084.jpg)
