## 096｜你可能误读了A/B测试

这里是《得到头条》，我是徐玲。

今天我们从两个话题出发，为你提供知识服务。一是“双11”大促临近，二是冬奥运进入倒计时。我们看看从这些话题背后，能学到点儿啥知识。

今天是10月的最后一个工作日，下周起就正式进入“双11”活动了，11月1日~3日将开启第一波抢先购。一方面，剁手党们摩拳擦掌、蓄势待发。另一方面，商家也是想尽了一切办法来搞促销。你有没有注意到，这段时间平台商家的促销短信特别多，我自己就每天收到好几条。针对这种现象，工信部还专门在本周召开了行政会，要求各大电商立刻自查自纠，禁止滥发促销短信扰民。

不用狂轰滥炸，有没有更高级的提高转化的办法呢？我们知道，产品经理一言不合就搞A/B测试，这是他们最喜欢用的一个增长神器。要不要搞促销、折扣力度多大、是满减还是买赠、广告语用哪句，这些都可以用A/B测试来决定。好像有了A/B测试，人人都可以成为增长黑客。

不过，有业内大神告诉我，A/B测试这东西，用好了是助力；用不好、被误读了，反而会变成一个大坑，很多人都踩过。

比如最近《哈佛商业评论》上就提到一个例子：某个线下艺术机构，有一大批付费会员即将到期。这家机构想知道，如果给这些快到期会员赠送一份精美的礼物，会不会增加他们的续费率。于是他们做了A/B测试，一部分快到期会员收到了礼物，而另一部分没有。结果显示，这两拨会员的续费率差不多，送礼物没起什么作用。

那么，是不是干脆就把礼物费省了呢？幸好，研究人员没有到此为止。他们经过进一步的数据分析，发现虽然总的续费率差不多，但礼物对细分人群的效果是不同的。

最明显的是两类客户：那些最近几个月来参加过活动的会员，收到礼物后的续费率明显提升了；而那些很长时间都没有来过的会员，收到礼物后的续费率反而降低了。这可能是因为礼物提醒了他们，自己去的频率有多低，会员费是多么不划算。这两种效应相互抵消，这才导致了A/B测试的结果看上去差不多。

再举个类似的例子：2013年，民宿巨头爱彼迎对它的搜索页进行改版设计，把搜索结果从原来的小图显示变成了大图显示，并且突出了房源位置。他们投入了大量资源来做这次改版，大家都预期新版会大大提高转化率。但是，A/B测试的结果让人大失所望，新版转化率不但没提升，反而降了0.27%，等于无效。

测试人员推测，和前面的例子一样，新版本可能是在某些情景下提高了转化率，而在某些情景当中降低了转化率，以至于最终结果相互抵消。但问题是，他们不知道到底是什么细分情况。不是活跃用户与非活跃用户，也不是新用户和老用户。

最后才发现，问题出在浏览器上。在Chrome和Firefox浏览器上，新版本都明显提高了转化率，而在IE浏览器上，新版本却明显降低了转化率，因为新版的代码有bug，和IE不兼容。在修复问题之后，新版本在IE浏览器上的转化率也很快提升了。

上面这两个例子说的是，当你有了一个全局的A/B测试，你得进一步去细分情景；反过来，如果你只是在某个具体情景下做的A/B测试，那么就不要贸然把这个结论推广到全局。

举个医学上的例子。去年11月份，有一个医学内科领域的国际顶级期刊《Annals of Internal Medicine》发表了一篇论文，言之凿凿地指出，基于在丹麦开展的一个严格的随机对照实验，戴口罩对于防护新冠病毒没用。

这个实验是怎么回事呢？研究人员招募了6000名志愿者，随机分成两组，一组在外出时保持社交距离并佩戴口罩；另一组外出时只保持社交距离但不佩戴口罩。两组志愿者都需要每天在户外活动3个小时，并持续1个月。结果显示，不戴口罩组的感染率为2.1%，而佩戴口罩组的感染率为1.8%。论文认为，虽然戴口罩组的感染率低一点点，但是差异不显著，不具有统计学上的意义，所以得出结论：戴口罩没有防护作用。

怎么理解这个结果呢？我看到，有很多人从不同角度提出了有力的质疑，比如感染检测标准、样本量大小等等。不过，最重要的是前面说的那个情景。这项实验，是在去年四五月份期间做的，那个时候，丹麦的新冠病毒感染率还很低，而且丹麦是北欧国家，人口密集度也低。所以，这个实验结果根本就不能反映出，在新冠疫情暴发期间、在人口稠密地区，戴口罩能发挥的作用。这就是把局部情景的A/B测试结果贸然推到全局的典型案例。

总之，A/B测试不会说谎，但A/B测试可能会被误读。

---

来看今天的第二条。

今天是北京冬奥会倒计时98天。本届冬奥会的最大特色就是“绿色冬奥”，北京冬奥组委在本周的新闻发布会上承诺，全部场馆实现绿色电网全覆盖，北京冬奥会碳排放将全部中和。为了达到这个标准，本届冬奥会动用了很多黑科技。

比如，冬奥速滑馆采用了一种新的制冰技术，叫“二氧化碳跨临界直冷制冰”。这是目前世界上最环保的制冰技术，碳排放趋近于零。再比如，有一种新的建筑材料被用在冬奥场馆设计上，叫“碲化镉发电玻璃”。也就是说，它既是玻璃，也是太阳能面板，可以为场馆提供电能。还有，国家速滑馆的整体建造也用了新结构和新材料，大量减少了建筑用材，屋顶重量只有传统屋顶的1/4，从源头上减少碳排放量。我就不多举例了，建议中小学生可以深入研究一下这个话题，冬奥会可是一个很好的作文题材。

说回来。从这些细节我们可以看到一个趋势，实现碳达峰、碳中和目标，除了要有先进的新能源技术，还要有先进的材料技术。实际上，青年科学家彭天放老师告诉我，材料技术在人类的科技版图当中，一直就处于非常重要的位置。人类的重大技术进步，很多都和材料技术的突破有关，比如混凝土、塑料、半导体材料的出现。一种重要的新材料的出现，往往会带动下游产业链发生巨大改变。

本期的“硬科技报告”，我们来看看材料领域的一个最新突破，由著名的华人材料科学家胡良兵教授研发的“超级木头”。这种木头有什么特点呢？

第一，这种木头强度很大，它的抗拉强度比一般的木头提高了5倍，达到了铝合金的强度水平。第二，这种木头非常轻巧，每立方厘米大概0.75克，差不多是铝合金材料的1/4，钢材的1/10。第三，这种木头柔韧性特别好，可以180度对折，还可以反复折叠上百次，不会断裂。

可以想见，这种木材未来能在很多领域替代金属材料，用在建筑上、交通工具上，实现更低的能耗。那么，这种木材是怎么做出来的呢？

这项研究使用的原材料很常见，就是一般的椴木，是制作家具，甚至养殖木耳都会用到的木材。“超级木头”技术的关键，是对木头的微观结构的调控。木头的微观结构是一种由植物纤维沿着树干的方向排列形成的多孔结构。这些孔隙分成两种，一类是大量的小孔隙，它们是植物细胞生长留下来的痕迹。还有一类是比较大的孔隙，它们是树干专门用来传输养料的通道。

传统的木材加工手段，要么是用整块的实木进行切割和打磨，要么是将木头打碎成细小的纤维，然后再用化工黏合剂粘接起来。这样直接破坏了木头的微观结构，也不环保。那么，能不能在保留木材的微观结构的同时，对它做一些调整，来获得性能更好的木头呢？这就是这项“超级木头”研究的出发点。具体的操作大概分成三步：

第一步，把木头切成片，浸泡在一种特制的溶液里，有选择地溶解掉木头里一部分物质。经过这一步处理之后，木头纤维之间的孔隙会变得更松软和容易吸水。

第二步，把木头片进行风干。在风干的过程中，木头原本的多孔结构会收缩到一起，形成一种致密的“纤维饼干”。

第三步最为关键，需要把风干后的木头片，再泡到水里大概3分钟。由于快速吸收了一部分水分，原来的大量小孔隙消失了，只剩下那些大的孔隙，也就是原本用来传输养料的通道，现在重新膨胀了起来，变成了镂空结构。

我在文稿区放了一张图片，你可以看到三个步骤中木头的变化。

这种特殊的结构，让木头获得了高强度、轻巧、柔韧的特性。在未来，这种超级木头可能成为一种重要的材料。如果我们再把脑洞开大一点，伴随着科学家对新型木材技术的探索，也许人类会像植物学习，开辟出一条新的碳收集思路。

![图片](https://piccdn.umiwi.com/uploader/image/ddarticle/2021102819/1756019848091009580)

---

来说说咱们得到的事儿。

最近我跟训练营的教研同事聊天，他们说，收到最多的职场问题，是跟开会相关的，比如：开会时，怎么快速记住会议要点？

其实很简单，你就带个本子和笔进会议室，然后把笔记本分成两块区域：一块用来记会上提到的关键词，和你当时延伸想到的内容。另一块，写会议过程中产生的决议，也就是“共识+下一步行动+责任人”。一个会议最核心的成果，就是明确下一步要干什么，谁来干。而且要注意，你不能等到最后再总结，会议过程中每形成一层决议，你就写下来一条。这样等会议结束的时候，你就有一个完整的会议纪要了。

训练营的同事们告诉我，在大家日复一日的追问下，他们现在对职场沟通和职场写作有了很多新的思考，想通过一场直播汇报给大家。如果你也想提升职场沟通和职场写作能力，那在本周日，也就是10月31日晚上八点，一定要准时收看得到训练营的专场直播。直播预约入口我放在文稿里了。

今年5月份，我们开了一门重磅课程《何刚•财经大课》，《财经》主编何刚老师计划用一年的日更课程，加上每月一场的直播课，带大家读透50本财经“大书”。最近，何刚老师讲完《现代经济学与中国经济》这本书后，干脆请来这本书的作者，也是著名的经济学家钱颖一教授为大家上了一堂直播课。钱颖一教授是清华大学经济管理学院的前任院长，不夸张地说，他的课就是一堂“状元级”的经济课。本来，钱颖一教授的这堂直播是只针对课程用户的专享直播，但是今天，我们专程为你薅来了羊毛，从今天开始的一个月内，这堂直播课面向全站用户免费开放一个月。这个周末，抓紧学起来。

今天就聊到这儿，《得到头条》，下周见。

附：

得到训练营专场直播

《何刚·财经大课》钱颖一教授专场直播

### 💡 精华要点
- 1. A/B测试
- 当你有了一个全局的A/B测试，你得进一步去细分情景；反过来，如果你只是在某个具体情景下做的A/B测试，那么就不要贸然把这个结论推广到全局。
- 2. “超级木头”新材料
- “超级木头”高强度、轻巧、柔韧的特征，让它未来能在很多领域替代金属材料，用在建筑上、交通工具上，实现更低的能耗。
