34|幸存者偏差:如何避免被已知信息误导?

你好,欢迎来到我的《信息论40讲》。

很多人问我,为什么要学一点像数学或者信息论这种看似在生活中用不到的通识课程?我的回答是,那些从一个个具体案例中抽象出来的数学概念、原理和方法,是我们透过纷繁复杂的表象,认识问题本质的基本功。

这就如同通过长跑练就的耐力,和通过短跑练就的速度,是踢足球和从事很多体育运动的基础一样。特别是,当我们要进入一个之前一无所知的领域时,它们会给我们带来一些最基本的原则,和最有价值的经验。

信息论在一定程度上,可以让我们的生活有一个基准,遇事能够找出大致的方向。2018年的高考作文题中所说的事情,就是一个很好的例证:

https://piccdn3.umiwi.com/img/201906/29/201906292154383207136240.png

2018年高考作文

二战期间战斗机的防护,多数人认为,应该在机身中弹多的地方加强防护。但有一位专家认为,应该注意防护弹痕少的地方。如果这部分有重创,后果会非常严重。而往往这部分数据会被忽略。事实证明,专家是正确的。请考生结合材料进行分析。自定立意、自拟标题,写一段作文。

这讲的其实是所谓的“幸存者偏差”(survivorship bias),得到的读者应该对此不陌生,因为罗老师在罗辑思维经常用这个例子打比方。为了让你更好地了解上面这件事的时代背景,以及那个没有给出姓名的专家的解决问题的思路,我先来还原一下这个真实的故事。

这位没有给出名字的专家叫做亚伯拉罕·瓦尔德。他是一个犹太人,出生于当时隶属于奥匈帝国的克劳森堡。和二战时很多从欧洲逃到美国的犹太科学家一样,他也是因为排犹给逼走的。大约在上个世纪30年代,瓦尔德在纽约的哥伦比亚大学得到一个教职,得以来到美国。

在第二次世界大战期间,瓦尔德和维纳、香农等人一样,都在秘密地为美军工作,但是表面上只是在做一般的学术研究。瓦尔德所在的小组是位于哥伦比亚大学的统计研究小组(SRG)。

据说瓦尔德是这个组中最聪明的人。

有一天,统计研究小组接到一个研究课题,如何加固轰炸机的装甲,以提高它们被击中后的生存率。

美国军方认为,如果每次战斗中,自己被击落的飞机比对方少5%,消耗的油料低5%,弹药多5%,机动性高5%,就会最终成为胜利方。这个结论也是有数学依据的,不是假设。

于是海军(美国的海军拥有自己的航空兵)就让这些专家们来设计对飞机改进的方案,他们为统计研究小组提供了一些数据,主要是飞机上弹孔的分布,这就是上面画的那张图。从图中可以看到,这些弹孔分布并不均匀,翅膀上比较多,引擎上比较少。

当时军方普遍认为,应该减少装甲总量,然后在受攻击最多的部位增加装甲,这样飞机可以轻一点,但是防护作用不会减弱,因为防御的效率提高了。

但是,这些部位需要增加多少装甲,他们并不清楚,于是找到瓦尔德,希望得到答案。但是,瓦尔德彻底否定了他们的想法,给出了相反的答案。

瓦尔德认为,需要加装装甲的地方不应该是留有弹孔的地方,反而是没有弹孔的地方,即飞机的引擎。

瓦尔德讲,飞机各部位被击中的概率应该是均等的,但是引擎上的弹孔却比其余部位少,这说明那些被击中引擎的飞机根本没有机会返航。我们看到的数据,都来自成功返航的飞机,这说明即便翅膀被打得千疮百孔,仍能安全返航。

瓦尔德还举了一个更容易懂的例子,如果去战地医院的病房看看,就会发现腿部受创的病人比胸部中弹的病人多,这并不是因为胸部中弹的人少,而是胸部中弹后难以存活。

于是,军方马上按照瓦尔德的建议改进了飞机,取得了良好的效果。虽然人们不清楚这项改进挽救了多少轰炸机和飞行员的生命,但是对这条建议带来的效果从不吝惜赞誉之词。这件事,后来被总结为“幸存者偏差”。

我们接下来从信息论的角度分析一下有关幸存者偏差理论的数学基础。对于上述问题,我们做一个简单的假设,飞机被击中的部位只有两个,引擎和机翼,这两个随机事件分别被称之为A和B。

当然还有一种情况,就是A和B同时发生,为了简单起见,我们不考虑它。于是飞机被击中的总概率为P(A)+P(B)。接下来如果A发生(也就是击中引擎),坠落的概率我们假定为P1,返航的概率当然就是1-P1。

类似的,我们假设B发生后,坠落和返航的概率为P2和1-P2。由于有幸存者偏差,我们看到的坠毁和返航的分布情况是P2和1-P2,但这是一部分信息缺失的情况下的误判。那么真实的坠毁和返航比例应该是什么呢?

在前面的假设下,飞机坠毁的总概率为P(A)x P1+P(B)x P2。考虑到前面说的飞机被击中的总概率为P(A)+P(B),因此被击中后坠毁的条件概率可以用一个公式给出,当然返航的概率就是从100%中减去它。

公式及推导:

【P(A)x P1+P(B)x P2】/ 【P(A)+P(B)】

我们假定引擎被击中的概率为5%,被击中后坠毁的概率为60%,机翼被击中的概率为10%,被击中后坠毁的概率为10%。10% vs 90%,这是我们在缺失信息后看到的坠毁和返航的比例。

用上面的式子算下来,总的来讲飞机被击中后坠毁的概率为27%,因此真实的返航坠毁比例是27% vs 73%,而不是10% vs 90%,这两个概率分布的交叉熵是比较高的,也就是说信息缺失很多。

如果我们加固引擎,让击中后坠毁的概率降到30%,减少机翼的装甲,让相应的概率增加到15%,那么总的来讲飞机被击中后坠毁的概率降低到了20%,比前面的27%降低了很多。相反,如果加固机翼,减少引擎的装甲,被击中后坠毁的概率将大幅上升。

虽然我们今天并不会像瓦尔德那样去分析战机的防护问题,但是用瓦尔德这样的思维方式想问题非常重要。我们经常听到某个人办公司挣到了大钱,于是大家不顾一切,辞职退学办公司。这其实就陷入了幸存者偏差,因为媒体永远只报道成功者,让大家都觉得创业必定能成功。

最后我们用幸存者偏差讨论一下股市投资。在过去的近一个世纪的时间里,标准普尔500指数每年增长接近8%,这是非常高的回报。但是美国经济显然没有那么快的增长,大约也就是一半左右,这个差异是怎么形成的呢?

在短期,股市可能过度乐观,但是不可能偏差出100年。这其中的原因是,标准普尔500指数几乎每年都把表现不好的企业从指数中淘汰掉,换进那些表现好的。因此那些表现不好的企业你就永远看不到了,这其实反映了幸存者的偏差。

这也是巴菲特等很多投资大佬,一直推荐大家购买美国标准普尔500或者道琼斯指数基金的重要原因,因为它其实是用了幸存者偏差占到了便宜。

更有意义的是,美国股市通过对表现不好的企业强制退市,允许做空股票,彻底将表现不好的企业清除出股市。如果一个股市没有强制退市制度,就难以有长期良好的表现,那种股市的指数基金表现好不了。

了解了幸存者偏差,还可以防止在投资上被基金经理或者媒体误导,那些媒体包括一些在金融界非常有影响力的,比如著名的晨星(Morningstar)公司,它宣称在1995—2004年之间,共同基金年均增长高达10.8%,高于标准普尔500指数的水平,这和金融界通常理解的共同基金做不过大盘的结论是相违背的。

一些学者于2006 年完成对上述数字的分析研究。他们发现,已经消亡的基金不会被统计进去,而真实情况却是,共同基金虽然有的会蓬勃发展,而有的因为长期不赚钱则消亡。

《金融评论》(Review of Finance )于2011年对过去近5000只基金进行了综合的研究,结果表明仍然存在的只有2600多只,略高于50%,而它们的收益率要明显高出消亡的。

如果考虑这个因素,所有的共同基金年化回报率只有8%左右了,略低于同期标准普尔500指数。因此,根据依然存在的共同基金判断所有共同基金的价值,就如同通过计算成功返航飞机上的弹孔数来判断飞机生还概率一样,是不合理的。

关键的问题是,共同基金的生命期通常不是很长,据我的一位在富达基金主管两只基金的同学讲,大约有1/4的基金存活期只有一次股市上行的周期,即8~10年。

要点总结

  • 首先,我们从理论上分析了幸存者偏差,并且用它来分析了股市,最后给大家的结论就是要购买那种不断淘汰坏企业的股市上的指数基金。此外,在工作中,大家也要不断淘汰不好的项目,在生活中要止损。这样就可以利用幸存者偏差将利益最大化。

  • 其次,也是更重要的。我希望通过这件事,让大家了解通识教育的重要性。瓦尔德对于飞机、空战的理解肯定远不及美军军官,但他却能看到军官们没有发现的盲点,这是因为他的数学常识让他有好的思维习惯,他在得到结论之前会问飞机样本是如何选取的,而军官们恰恰忽视了样本选取不具有代表性这一点。

  • 最后讲一个投资领域的小骗局,也算是今天的作业题:有一天专门从事仙股(股价只有几分钱)交易的弗罗斯特先生向你推荐股票,当然你不会相信他。他说,没关系,我每天发邮件给你,告诉你一只股票的涨跌。在接下来的10个交易日里,你每天收到他的邮件,10天他都说对了。这时,你是否该将钱交给他去炒股?为什么?他是否有什么独到的眼光,还只是运气好?另外他为什么只炒仙股?

预告:下一讲,我们再讲一个信息论被广泛应用的推广原理,奥卡姆剃刀原理。我们下一讲再见。

https://piccdn3.umiwi.com/img/201906/29/201906292158239032519122.png

https://piccdn3.umiwi.com/img/201906/29/201906292158366861313703.jpg


热门留言

Apprentice-胡钦元:之前在陆蓉老师讲幸存者偏差的那节课上举过,再更细致一些。当时我亲眼站在住持旁边有幸所见,只是年龄小没什么见识,不得要领,现在才惊为天人。香火极度旺盛的寺庙,就是设计出许愿必须得还愿的规矩,发现没,跟那个凭概率涨跌原理一样,跟飞机中弹仍能飞回来也一样,许愿后灵的就会回来还愿,不灵的也不会回来,于是现场的无一例外全是灵的,其他香客一看马上虔诚许愿,事实上有多少是自证预言和安慰剂效应啊。然后来还愿的时候还必须要有郑重的仪式,比如烧高香,披龙袍,唱大戏,这是三阶产品,高香虽然也贵,但毕竟大众都花的起;龙袍再贵一层;唱戏可就是超高阶产品,不是大众负担得起的了,如此反复,香火旺到了匪夷所思的地步,究根到底,就是通过还愿仪式制度设计,把那一半灵的全筛选出来了。

如今我们耳熟能详、影响深远的许愿必须还愿就是这么我亲眼见证设计出来的,如果得到可以上图片,我还可以把当时那个小屋发上来。

世间万法皆通,高僧比张小龙也不差分毫吧。

再往深里思考,世间所有宗教甚至是信仰,都是这个原理,一个共识反复强调,直至不可动摇,步骤套路大致就是:凝聚共识、情绪管理以及树立敌人。

Stone:爱笑的女孩,运气都不会太差

→没错,因为运气差的女孩,根本笑不出来。这也是幸存者偏差的例子

幸存者偏差的例子很多,比如,我们经常看到很多成功人士分享自己的成功经验,听起来那么简单、那么容易,但当我们照此实践时,往往以失败告终

这是因为“幸存者偏差”的存在,让我们只能看到他们成功的经验,而没有看到失败的经验。更多失败的人,我们选择视而不见

飞机✈️的报道特别多,让我们感觉到飞机很危险,事实上这也是幸存者偏差导致的,汽车🚙发生的车祸,每天都要很多但是很少报到,按照概率来讲,汽车才是最危险的,只是报到的少,所以大家觉得汽车比飞机✈️安全

吸烟有害健康,很多人会列举长寿的人里面也有很多人是吸烟的,以此来证明吸烟也可以长寿,这其实也是犯了幸存者偏差的错误。因为很多吸烟而短寿的人提前去世了,没有被统计到长寿人群里去

喝红酒可以延年益寿,也有幸存者偏差的原因,能够喝红酒的人经济条件都不差,这样他们在健康方面的投入就可以很多,自然寿命相对也就比较长,所以并不是红酒带来了长寿,而且喝红酒的人群本身就是相对长寿的群体

看到几个生活中幸存者偏差的段子,对于我们加深幸存者偏差的理解很有帮助

  1. 学校组织郊游,老师问:没来的同学举个手,好,人齐了,我们出发吧

  2. 央视记者在一辆高铁上问:您买到票了吗?买到了!您呢,您买到了票了吗?买到了(没买到票咋上的了车)

  3. 妈妈为什么不挑食?因为她买菜的时候已经挑过了

  4. 降落伞的电商店铺为什么都是好评?因降落伞有问题而失事的人想给差评也给不了

我们要想发现生活里别人没有发现的盲点,得有好的思维习惯,而通识教育就是能让我们形成这种思维习惯的最好方式

Hanskeng 尹桂政:“在接下来的10个交易日里,你每天收到他的邮件,10天他都说对了。这时,你是否该将钱交给他去炒股?为什么?”

我觉得我不会交给他,因为股票有跌就有涨,这世界上炒股成功的人很多都有运气成分,并不是研究的好。10个人中总有短时间赚钱的,1000个人中总有一直赚钱的。如果那个一直赚钱的人以为是自己眼光独特,而吹牛说自己是股神,那其实是没有考虑到概率,也没有承认到自己的好运气。

回到这个题目,假设这个人并不是给我一个人发邮件,而是有1000个人的样本,他每天都会定时给他们发邮件,只是结果不一样,十天下来也就是1024个结果。那么其中总有一个人是蒙对的。如果这个人恰巧就信了,他把钱给了他,那么骗局就成功了。这个时候有的人会去问,每天发这么多邮件可能吗?用人力当然是很难的,不过如果写个程序去做这件事情,那就轻松多了。

从这种事情上,我们也可以看出,坏人可以借用机器的能力提升自己作恶的本领。

Steve:#金勇笔记# #day35# #幸存者偏差#

-感慨-

过来人的智慧若能沉淀,能系统组织好文字并写下来的人不多,愿意分享出来方便被人索取更加寥寥,吴军老师的前两专栏《硅谷来信》 《谷歌方法论》我现在还在经常复习、并和我爱人讨论其中的观点。 她说,“这些内容如酒一样,醇美弥香。”

总结: 我觉得偏差来自于“短视”或者“盲视”。 带一顶“统计学家”的思考帽,也许能帮助我们避免一些偏差。

那短视与盲视怎么形成的呢? 如何避免?

文章中的军官,表现出来的是从事某些领域工作太久形成了职业习惯,缺乏交叉思考以至于进入到“灯下黑”区域。 芒格老人经常鼓励年轻人多看书,从书中汲取智慧。 除此之外若有机会接触各行各业的精英,也是个幸事,这也是类似得到大学这种平台的可贵之处。

试想, 什么叫预测准确? 如果我考核这位半仙, 我希望TA能告诉我某只股票每天所有的交易量、各时刻的价格、开收及最高价… 如果只告诉我一个 YES/NO , 而没有更具体的信息和判断依据, 就算连续20天就猜对了,我也不相信TA!

思考:不要把自己的判断力轻易托付给别人。

金勇分享

《信息论》课程还有一周的时间临期,我明显感受到了自己这一个月的长进,主要表现在: 数学力的精进、中文写作的习惯养成以及给别人解答问题的能力。

《什么是数学》(作者:柯朗父子,父亲是希尔伯特的学生)是我从五月从看的一本书, 我甚是喜欢。 下面谈谈我们与书的话题。 每年,我大概会读30-50本书,深度阅读至少其中的一半。 我发现,很多人开始面临一个难题: 如何发现好书?

  • 相信成名作者: 找到建立起信用交易的作家, 比如村上春树、大前研一、纳西姆.塔勒布、Steven Pinker 、吴军老师…
  • 相信权威与测评机构:对某一领域的初次尝试,要相信权威与公众评价。 (我会先在豆瓣图书上查看评分和评价)
  • 相信身边的特定人士:如果身边有人正在读,听听他的看法;
  • 相信特定的试读、解读服务:如果这本书在得到App的“每天听本书”产品中存在,那么我就去看看解读文稿:听书团队的交付质量很高,所以我也信任他们对书的还原能力和解读能力。

几年前,我买书基本上只在Amazon上找高分评价去搜索——但我发现这样会失去很多选择。 有的用户是因为觉得纸质不好或者物流慢了给这本书打1分差评。 这其实是把整个电商体验都发表在了这本书上, 对其有失公允。 我有一次收到一本书,第三章完全印刷反了,我反而觉得这是冥冥之中自有安排,后来出版社联系我要再给我一本新书,我反而觉得手上这本印刷错误的更是宝物。

话题扯得有一点远, 希望每个爱书之人都能找到自己与喜欢的书相遇的方式。

金勇
2019年6月30日 0点

古小千:幸存者偏差,让人捡芝麻却丢西瓜。

已知信息带来的误导,让我们把力气花费在改善小事,而忽略了真正的大事,用吴军老师的话来说,叫做“捡了芝麻却丢了西瓜”。医疗领域随处可见幸存者偏差的踪影,而且攸关生死性命,若能明白信息理论中,选取样本谬误的道理,那益处是不亚于战场上的。

医生遇到求诊的病人,通常都属于病程的末期,不管是肿瘤癌症、内科慢性疾病,还是外科急症,往往都是危及生命、预后很差的阶段。若专注在这类病人,那么只能改进治疗的方法,而无法做到预防。所谓“上医医未病之病”,结合研究的临床医疗,才有更上层楼的空间,这也是为什么医生是永远的学生,唯有透过基础研究的辅佐,才能避免偏差,更好地优化治疗准则。

回到今天的作业,这位交易员只要找到2^10=1024个人,跟这一千多人承诺相同的事,那么10个交易日后,就会有一个你这样的“幸运儿”,发现他天天都说对,因此心服口服给他钱去炒股,然后,然后就没有然后了。

“仙股”是指cent股或是先令股,在英语中又称penny stock,只的是股价低于一元的股票。这些公司实际价值不大,但容易被当作借壳上市的管道。当某些企业需要一个替身来上市,注入资金后往往会翻数倍股价,这也是仙股容易炒作的原因。而那位交易员最终拿了你的钱就跑了。

从信息论著眼,要能想到那些表面看不到的事物。愿大家都能在生活中,多捡西瓜。

伪装:在接下来的10个交易日里,你每天收到他的邮件,10天他都说对了。这时,你是否该将钱交给他去炒股?为什么?他是否有什么独到的眼光,还只是运气好?另外他为什么只炒仙股? 思考 这是一个用多轮淘汰法寻找欺骗目标的手法,大概就是选一定数量的人,一半发某只股票明天会涨的信息,另一半则相反,第二天就将蒙对了的那一半再分成两半,一半发明天会涨的信息,另一半相反,如此反复,一般人在他连续说对三次就会选择投资,而他的游戏也会不断的增加新的目标继续进行,发给一个人的信息,连续十天都被他猜对的概率也是存在的,但是只要看穿了这个把戏,也就知道自己不该给他钱炒股。 只炒仙股我认为有两个原因,一个是利用人的心理,认为投资股价低的股票更容易赚钱,另一个是很可能他与仙股背后的大股东有勾结,故意拉人下水。

开不得:华彬孙子兵法里,有一个扁鹊的故事,就是再说幸存者偏见,我做一下知识搬运。

扁鹊三兄弟

扁鹊是一个名医,有一次这个魏文侯就问名医扁鹊,“听说你们家兄弟三个人都是医生,那谁的医术最好?”扁鹊就说,“我们家大哥医术最好,二哥差一点,我是最差的。”

魏文侯就不明白了,你是天下名医啊,你大哥和二哥都没有听说过。扁鹊就解释,他的大哥治病是在病情发作之前,病人自己还不觉得有病大哥就下药,铲除了病根。所以他的医术很难被人家认可。

他的二哥没有大哥那么大本事,在病情发作之前他发现不了,但在病情初起症状不十分明显的时候,二哥能够药到病除,所以村里人会觉得二哥还能治点小病,所以他的名气只能在本村,邻村的人都不知道他。

我的动静就会比较大,我治病都是在病情十分严重、痛苦万分的时候,我在病人的经脉上穿刺,有时候甚至还敷上毒药来以毒攻毒,最后这个病人可能得到了缓解,甚至还有治好的,所以我就名闻天下了。

扁鹊的这个例子非常有哲理,名将就跟名医一样,就是谁也打不了的仗居然给他打赢了,这是什么?这是运气。而真正的善战者他还没有打过可歌可泣的硬仗。

赵澈:这个问题其实就是一个幸存者偏差问题,现实中一只股票一天从开盘到收盘只会有两种状态:要么跌、要么涨,概率各位1/2,即计第一天A股票上涨的概率为P(A) = 1/2,股票下跌的概率为1 - P(A) = 1/2,那么理论上说一只股票连续10天都预测对涨跌的概率为(1/2)^10 = 0.00098,概率非常小,但弗罗斯特只需要选足够多的人,一组发涨、一组发跌,10天内收到错误信息的组即淘汰,那么第10天后一定会有人收到的信息都是对的,如果这个人恰好是你那么你就属于幸存者,这种情况只是概率问题,而和股票的预测能力没有关系,所以坚决不能进行投资。

但是我想说现实生活中,人的决策总是非理性的,即使知道幸存者偏差问题的人也会倾向于选择相信运气而非概率,这就是为什么散户在股市中很难赚钱的原因。

这篇文章给我的启示是:我们要时刻谨记幸存者偏差,同时要不断磨练自己的理性判断和决策能力,将信息论的知识内化于心,外化于行,真正用信息论的常识来指导生活,指导行动。

陈C:弗洛斯特先生的这个骗局,利用的就是幸存者偏差。且不考虑他是不是真的有看股票的眼光,假设随机选择一只股票是涨还是跌,那么连续十个交易日里都选对的概率就是1/1024。如果我每10天一个周期,给1000位“潜在客户”发邮件,每天都是一半猜涨、一半猜跌,猜错了就停止发信,剩下的继续对半分,最后就不难得到真正的“客户”。

当然现实中只给1000人发邮件,很有可能会落空;但如果给几万个目标发邮件,工作的量级没有变化,预期骗到的金额却会显著增长。换句话说,这个骗局边际成本低,容易做成规模,预期收益可观。

回到收信人的角度上,我们想要避免被这种骗局,可以从这几个角度出发: 1. 要具备该领域内的常识。比如股票价格极低,并不一定是价值被低估,也可能是退市边缘;预测股票涨跌很困难,等等。知道了这些,相当于知道天上是不可能掉馅饼的。 2. 关注概率。比如在这个骗局中,连续10天猜中的概率只有大约千分之一,从这里就已经能推测出,我可能只是几千个收信人中的一个。 3. 关注规模。骗一个人只有不到千分之一的成功率,但是用同样的方法骗上万人,期望收益就已经很可观了。几乎所有的电信诈骗,都是利用极低的边际成本,进行规模行骗。 4. 关注利益。一个人要是有能力,把千分之一的概率提高到哪怕只是百分之一,最合理的做法都是闷头赚大钱,而不是把这个占便宜的机会分享给我。现在一些非常成功的投资机构就是这样,好的策略留着自己用,不会公开。王立铭老师曾经在《众病之王的解决方案》的加餐中,讲过治疗癌症的“民间神医”不靠谱,用的也是利益视角。 5. 关注“看不见的地方”。课程里增强飞机防护的例子中,那些被击中引擎而坠毁的飞机,就是“看不见”的部分。因此要关注的不是看得见的弹孔,而是引擎上“消失”的弹孔分布。在弗洛斯特骗局的这个例子中,1023/1024的预测失败部分,就可能成为“看不见”的部分。 6. 利用交叉验证。比如上网查一下,看看别人有没有类似的经历。

刘溜溜:幸存者偏差的极端表现就是所谓的“成功学”,设定一个榜样,然后不断打鸡血期望自己能和这个榜样一样成功。其实,榜样即便厉害,也只是一个幸存者,是大浪淘沙后仅剩下的一颗沙粒,更何况这个榜样的成功,一定有着自己的天时、地利、人和,更重要的是运气,这些都是学不会的。

在平时的工作当中,我们也很容易去找很多成功案例,去学习他们的成功之道,想从中得到借鉴。其实克服幸存者偏差的一个很好的办法反而是“向失败者学习”,不要只是紧盯成功的“幸存者”,那些失败者反而更值得我们关注和学习。

佛祖门徒:老师说,希望通过这件事,让大家了解通识教育的重要性。我从自己的理解谈谈通识教育如何让我们避免“幸存者偏差”。 第一、学习统计学,建立概率思维。统计学提出均值回归的概念,让我们懂得在一段时间内,一个事物的表现会趋于平均水平。这种概率思维让我们做判断的时候应该避免盯着某些“小概率事件”不放,懂得从更宏观、客观的角度思考问题。 第二、警惕主观偏见,避免简单归因。“系统1”高效,通常按照简单、省力的方式来处理问题,虽然可以节约精力,但经常让人做出错误的判断,以简单的思维逻辑来进行因果分析。我们应该积极通过“系统2”来进行理性思考,并借助反问和交流的方式来减少谬误。 第三、善于拆解,从细节中发现问题。产生“幸存者偏差”是人们习惯于关注现存的、眼前的事物,其实眼见未必为实,魔鬼往往隐藏在细节中。老师说过要掌握拆解目标、任务和问题的方法,往往能发现被我们忽略的信息与细节。

再见吧,起伏的群山:罗胖曾经在怎样做个明白人这期节目中讲过这种骗法: “有骗子是这么干的,找一万个邮箱号,先第一天普发一遍邮件,说明天哪只哪只股票要涨,这个邮件发给其中的5000人,把这只股票要跌的消息发给另外5000人。第二天,有涨有跌吧?好,如果他说涨了,结果跌了,那有一部分人是不信的;可是另外一部分人收到的就是说跌的邮件,你判断对了。好,下面5000人,第二天再发一封邮件,换一支股票,其中一半告诉他涨,一半告诉他跌。你看,第二天又淘汰一半人。 但是你别忘了,5000份这样淘汰来淘汰去之后,过了那么些天,其中就有一部分人发现,我靠,股神啊,全对,这个一定是有规律的,他怎么能这么多天,说那么多只股票持续地都对呢?最后骗子的邮件就来了,相信我吧,已经展示给你看了吧?好,现在往我账户里打钱,我来帮你炒股。你把钱打给他吧,打完人就跑了” 选择仙股则很大程度上因为仙股股价低,骗子可以大量尝试不同股

晚霞:思考题里的,就是幸存者偏差造成的,错的你没看到,对的都被你看到了,这是你的“运气”。:) 为什么只炒仙股?因为它快摘牌了。

看了这课,我立马想起了一个例外。以前,大户室里有位老兄。平时的时候都不来的,公告说有股票要摘牌了,他就来了,专买这股,摘牌后他又不来了。一连几次他都这样,他变成指标了,只要他一出现就知道是有股票要摘牌了。 我很不解,问他:“虽然你拣的都是便宜货,可摘牌了钱也关进去了呀。” 他解释说:中国股票是没有退市的,只有重组。现在价格这么便宜,重组后起码翻几倍,就是在时间上要等。这钱是他自己的,不怕等。 事后证实了他是对的,他是确准了政策。也就是他没按常理炒股,而是利用了政策炒股。

tensaijin:答下作业 首先答案肯定是不可信。 原因是虽然传达给你的信息均正确,但其实你是那个“幸存者”。 这位先生应该是对很大样本的对象进行发送。连续预测中10次的概率虽然只有千分之一,但只要对象足够多,还是会有全部命中的。

至于为什么是股价低的股票这个对于股票没有实际接触完全不懂,以下纯属脑洞。 可能性1:价格低会显得门槛低。因为对象需要足够多,因此不会在经济条件上有太高的筛选空间。(如果能拿的到这么多人的经济数据恐怕也不会干这个)因此低价格会使得大家接受程度更高。 可能性2:这些股票被关注的可能相对较少(纯属假设)。客户获得其他信息交叉验证的可能性较低。配合连续正确预测更容易树立“权威感”与“信任感”。 可能性3:这类股票具有某些性质(例如整体下跌期望大于上涨期望或者易被退市)导致如亏损后有合理理由向“客户”解释。如果存在类似的性质,不进行实际股票购买在期望上应该就是有正向收益的。

山峰:这个投资领域的小骗局,让我想到了今日说法的一个赌球骗局。骗子给喜好赌球的足球迷发免费的预测邮件,对于某场只包含参赛者A、B的比赛,将所有喜欢赌球的球迷也分成两块,一块专门发送A获胜的邮件,另一块发送B获胜的邮件(由于点球大战、加时赛等因素,导致平局出现的次数太少,就不予考虑)。假设结果为B获胜,就将发送A获胜邮件的球迷全部划掉,再将之前的手段重复运用于发送B获胜邮件的球迷。如此循环往复几次,剩下的幸运儿会认为骗子掌握了足球比赛的黑幕,或者有某种超能力,这时骗子就会以下次的预测结果跟幸运儿谈预测的费用。直到所有的幸运儿都上当受骗,骗局才会结束。 投资领域的小骗局,其与上述赌球骗局的原理一致,都是利用幸存者偏差误导受害者的认知,使受害者对骗子的骗术深信不疑,从而遭受财产的损失。因此我不认为应该将钱交给他去炒股。原因很简单,在这10个交易日里,你是他蒙对了股票涨跌的幸运儿,至于蒙错了的人早已被他划掉了。至于他为什么只炒仙股?这是由于最凶险最恐怖最刺激的也是炒仙股。人性都是追求短平快的,谁愿意抱着个股票等个半年三年的。

罗怀昭:我们人类总有一种近乎本能的反应,就是“不太愿意相信自己看不见的”,正如我们看不见黑夜,以为晚上没有什么生命在活动,这就让幸存者偏差成为很普遍的想象。最可怕的是,我们不知道自己会具有这种愚蠢的思维和行动。

通过学习信息论,从根本上认知到这种思维上的问题,也从另一面用理智战胜本能,跳出很多陷进和误区。

回答今天的问题:幸存者偏差的骗局 弗罗斯特先生利用10天的时间找到最后那个幸存者,就从2的10次方(1024个人)开始,每天向一半人推送涨,一半人推送跌,10天后,假设我就是那个幸运儿,我从本能上来说会开始心动的。 因为中国人口基数众多,如果骗局者为了显示自己更神通,可以将时间从一周、拉长至半个月或20天,让你深信不疑。一旦得手,就可以骗去几十万或几百万。这是个用时间换金钱的骗局,利用信息不对称和偏误来诈骗的游戏。 但是,尤其是上了年纪的老人们,觉得自己有点小经验的股民们,会默默得陷入这个骗局。说实话,我就看到过这样的老同志们最后痛哭流涕,我也只能悲哀地看着这群最初不知道悲哀的人。

留白:骗子有种“反向筛选”的策略:设计容易被识破的骗术,这样就可以过滤掉那些警觉性很高的人,提高行骗的成功率。比如电话诈骗带有某地的口音,聪明人一听就感觉不对,骗他需要的成本就太高了,不如一开始就让他识破,直接放弃这样的“用户”。(在信息论中就是筛选易骗人群的交叉验证。) 仙股的股价波动极大,股价与公司价值基本无关,股价波动来自不靠谱的消息或是庄家的操盘,理性的投资者看到仙股都会避开的,如果收到的邮件标题就是仙股的推荐,理性的投资者根本就不会看的。这样留下来的就是不理性的人与完全不懂股票的人(有技术手段可监测邮件的打开情况,可理解为邮件回执)。诈骗最后是要交钱的,对于不理性的人与完全不懂股票的人可以引导他们一次投入足够多的钱,实现最大的诈骗收益。对于筛选出来的易骗的人群,诈骗团伙来还可以用把数据卖给其它的诈骗团伙实现增收。所以在生活中有的人经常收到诈骗短信或是电话,而有的人却很少收到。

留白:从信息论的角度分析幸存者偏差理论: 假设飞机被击中的部位只有两个,引擎和机翼,这两个随机事件分别被称之为A和B,为了简单起见,我们不考虑A和B同时发生的情况。 飞机被击中的总概率为P(A)+P(B)。 假设A发生(也就是击中引擎),坠落的概率我们假定为P1,返航的概率当然就是1-P1。 假设B发生(击中机翼),坠落和返航的概率为P2和1-P2。 由于有幸存者偏差,我们看到的坠毁和返航的分布情况是P2和1-P2。 真实的坠毁和返航比例是 在前面的假设下,飞机坠毁的总概率为P(A)x P1+P(B)x P2。 被击中后坠毁的条件概率可以用一个公式给出,当然返航的概率就是从100%中减去它。 【P(A)x P1+P(B)x P2】/ 【P(A)+P(B)】 我们假定引擎被击中的概率为5%,被击中后坠毁的概率为60%,机翼被击中的概率为10%,被击中后坠毁的概率为10%。10% vs 90%,这是我们在缺失信息后看到的坠毁和返航的比例。 【5%x 60%+10%x 10%】/ 【5%+10%】=0.266666 总的来讲飞机被击中后坠毁的概率为27%,因此真实的返航坠毁比例是27% vs 73%,而不是10% vs 90%,这两个概率分布的交叉熵是比较高的,也就是说信息缺失很多。 如果我们加固引擎,让击中后坠毁的概率降到30%,减少机翼的装甲,让相应的概率增加到15%,那么总的来讲飞机被击中后坠毁的概率降低到了20%,比前面的27%降低了很多。 【5%x 30%+10%x 15%】/ 【5%+10%】=0.2

得到带我长见识:今天突然想到网店的中差评就是幸存者偏见。一般顾客收到东西满意也不会去特征好评,因为太麻烦,也忘了,除非收到惊喜一般的产品才会去上图评价。相反,收到东西稍微有点不满意,就会去评价不好的,甚至中差评更多的内容。所以新的顾客普遍容易看到一个产品更多的中差评。相反,天猫店就没有这个担忧了!

盒裝囝:吴军老师好,

正如老师说的,我小时候曾经跟随一位体校老师练习田径,大约有5年的时间,虽然最后我没有选择进入专业队,但是这几年打下的基础使我的身体状况领先大部分的同龄人,这让我在体力这个维度处于领先,为各方面的发展打好了基础。

思考题 我的选择是不会相信他。预测股票的涨跌是二选一,大概是一个比特的信息,连续10天都预测对,2的10次方只要选取1024个人就可以做到,如果这位投资经理广撒网,把目标定位10万人,就至少会有100个人和我一样收到连续10天预测对的情况了