15｜条件熵和信息增益：你提供的信息到底值多少钱？

你好，欢迎来到我的《信息论40讲》。

前两讲，我们通过介绍信息的正交关系，讲了寻找能够彼此互补信息的重要性，又通过介绍互信息，讲了两条不同信息之间的相关性。

这一讲，我们更加系统地、量化地分析一下，如果别人给你提供了一条信息，到底有多大的价值。

我们还是从裙摆指数说起，不过这一次我们换一个角度来看这个问题。我们假设这个指数多少有点道理，那么利用它是否能够帮助炒股的回报多哪怕是一点点？

我们知道股市是一个非常不确定的地方，如果你获得了一种关于股市的信息，比如A公司要并购B公司，只有你一个人知道，而你之前对它的了解不亚于其他人，可能你的投资会表现好一点。

但是要注意它们未必构成因果关系，也就是说你挣到钱的可能性大一点，但未必一定能挣到钱，因为股市的涨跌受到太多不确定性的影响。

接下来我们就 用信息理论对这个问题作一个比较严格的分析。

我们假定，股市的涨跌是个随机变量，用X表示，对于它的全部的不确定性，就是X概率分布所对应的信息熵，通常用H（X）这个符号来表示。

如果你得到了一些内部消息，这些消息我们用Y来表示，那么股市对于你的不确定性就是Y条件下，X概率分布的信息熵了，通常用H（X|Y）表示，它被称为条件熵，Y是条件。

也就是说，在别人眼里，股市的不确定性是H（X），而在你眼里，因为有了信息Y，因此它的不确定性变成了H（X|Y）。

接下来的问题就是，什么情况下H（X|Y）会比H（X）更小？那样的话，说明你获得信息Y之后，股市在你那里的不确定性就降低了。

对这个问题， 我有好消息和坏消息告诉你。

先说好消息，在信息论中可以证明，H（X|Y）永远比H（X）小，或者相等，即H（X|Y）≤ H（X）。而等号成立的条件是，你得到的消息和股市无关，那些无关的消息既不会帮你也不会害你。

比如说，你采用的预测股市的信息是你们家孩子上一次考试的分数，它不会帮你任何忙，也不会害你。

如果你得到的消息，是股市变化的等价消息，比如说，你提前知道了苹果公司要回购100亿美元的股票，你马上可以算下来它的股票该增长百分之几，按照2019年4月的股价来看，大约会涨1.1%左右。

这时，股市对于你来讲，就是确定的事情了，也就是说，如果X和Y是等价信息，它们的条件熵瞬间降到了0。注意，我这里所说的前提是，这件事只有你知道，别人不知道。

接下来就说说坏消息。如果你知道的信息，别人也知道了怎么办？对不起，由于市场的有效性，也就是股价能够充分反映所有信息，苹果会在一瞬间上涨1.1%。这时你再使用那条信息作出购买苹果股票的决定，就挣不到钱了，也就是说苹果公司的股价已经包含了市场对回购股票那条信息的反应。

这就是我们前天说的，同一条信息使用一万遍，只有第一次会产生结果，后面都不会产生结果。由于这个“裙摆指数”假说已经存在了上百年，大家早就知道了，即使再有道理，一个人尽皆知的消息也没有用。

我们不妨假定今天大家使用过的关于股市的各种技术指标分别是Y1，Y2，Y3，……，YN，有N种。

今天股市的不确定性其实已经不再是H（X）了，而是在这些信息条件下的H（X|Y1，Y2，Y3，……，YN），也就是在Y1，Y2，Y3，……，一直到YN所有信息都使用后的条件熵。

这时，你再将其中的某个指数，比如Y5重复使用，不会得到任何更好的结果。这也就是我常说的，靠画K线炒股挣不到钱的原因，因为它不过是众人所知的某个Y。事实上，专业投资人没有靠画K线投资的。

当然，如果你有幸发现了一种新的和股市变化有关的信息，我们假设是YM，它不在Y1，Y2，……，YN中，那么恭喜你，你有可能挣到钱。

这就是当年彼得·林奇在发现PEG这个信息后挣到钱的原因（关于彼得·林奇的故事，大家可以回顾《Google方法论》第55封来信）。

当然，你还必须像彼得·林奇那样心里能够装得下事情，不要出去乱说。因为一旦YM这个信息被别人知道，成为公众信息，你就再也挣不到钱了。

正是因为这个原因，真正能够通过投资股票挣钱的人，是不会告诉你所谓投资秘诀的。而在电视上开讲座讲投资的，反而是自己挣不到钱的。

不过，我一直反对年轻人花精力去找所谓的别人没有发现的和股市相关的信息，包括反对专业人士这么做。为什么呢？ 因为最有效的信息已经被发现了，剩下来留给大家的微乎其微。

要讲清楚这一点，我们就需要讲一个 信息增益（Information Gain，简称IG） 的概念。

我们还是回到了解股市变化（对应随机变量X）这个话题，在没有任何信息的情况下，它的不确定性是H（X）。在有了Y1这个有用信息后，它的不确定性变成了条件熵H（X|Y1），我们前面说了，它比H（X）有所减少。

那么Y1所带来的信息增益就是H（X）-H（X|Y1），我们写作IG（Y1）。

事实上具体到这个特殊的情况，IG就是X和Y之间的互信息，这个值越大，说明消除的不确定性越大，X和Y越具有相关性。

接下来，假设我们又有了另一条信息Y2，它所带来的信息增益就是在原来Y1基础上的增加，我们写成IG（Y2）。

我们假设后面还有N种不同的信息，从数学上看，它们带来的信息增益，每一个都是在原来所有信息基础上递减的。

通常，人们总是率先发现和所要解决问题互信息最大的信息，也就是增益最大的信息，因此通常来讲，越往后发现的信息，带来的增益越小。世界上的股市已经被人研究了几百年，各种直观的能够预测股市的有用信号已经被挖掘殆尽。

有了计算机之后，一些专业的在对冲基金里建造数学模型的人，利用计算机把几乎所有的已知信息都试验了一遍，如果有用他们就保留了下来，于是很快股市就反映了那些信息使用后的情况，也就是所谓的被price in了。

如果你真的有幸找到一个大家都遗漏的信号，那么还要确定两件事，才能知道它有没有用：

• 这个信号不要和其它已经采用过的信号重复，或者相互覆盖。

• 这个信号带来的结果要有足够高的置信度，也就是说，如果它让你的收益平均高出1%，收益浮动的区间要远远小于1%，否则浮动区间高达10%，那就一点意义没有了。关于置信度，我们后面还会讲。

如果把这两个条件再一限制，你就知道在股市上系统性地捡漏近乎不可能。好，这就是从信息论中信息增益的概念出发，我为什么不支持年轻人去研究所谓的炒股秘笈。

利用信息增益的概念，我们可以衡量一条信息的价值，也可以衡量一项研究发现的贡献。

先说说一条信息的价值，它取决于这条信息对未知系统所带来的信息增益。两条信息，先出现的，价值更大，第二条价值就小，在数学上可以证明这一点。

当然，如果两条信息相互正交，那第二条信息依然像过去那样有价值。这一点我们前面讲正交性时已经讲了。

正是由于上述特性，在一项课题的研究中，最初的几篇论文，即便绝对水平不是最高，但是通常提供的信息增益最大，因此影响力也最大。越往后，信息增益就越来越少，影响力自然就少。

在学术界，大家评估一个人的科研水平，主要是他所发表的论文的两个指标，一个是引用的数量，另一个是所登载期刊的影响因子。

其中后者是整个期刊一段时间内发表的所有论文的引用数总和（不是直接计算的，来自不同期刊的引用会有不同的加权）除以论文数，也是引用数量的间接度量。

因此，论文的重要性几乎就等于引用数，而引用数几乎无一例外地和信息增量相关。

当你说出一个别人不知道的事情时，就会被大量引用，很快就成了学术权威。如果总是做别人已经解决得差不多的课题，做得再好，在学术界也没有影响力。

对于媒体报道，独家报道受关注的程度，远远高于凑热闹围观。所以，第一个发稿的，影响力要远远大于后面跟踪报道的。

这是因为一开始的时候，大家一无所知，提供巨大的信息增益容易，后来则是在增益上补充而已。

对于个人，也是如此。第一个说出看法的，常常就成为了意见领袖，跟着发表看法的，大家其实记不住。这时，如果还想引人注意，就要提供之前谈到的正交的信息，也就是说和别人已经提供的信息都不相关的。

很多人喜欢发表与众不同的意见，其实是有道理的，因为标新立异的观点，才有可能提供之前大家不了解的信息，当然那些观点本身需要有证据支持，符合逻辑。

要点总结

• 我们用条件熵的概念，解释了为什么大众已知的信息对投资和其它决策其实都没有意义。

• 我们给出了一个定量衡量每一条信息价值的尺度，就是信息增益。

• 我们用上述理论解释了为什么在一个研究领域最初的发明贡献，影响力最大。对于每个人，第一个发表意见，以及能够发表与众不同的意见，对提高自己的影响力至关重要。

至于今天给出的一些细节公式，如果看不懂不用太在意，理解背后的原理就可以了。

思考题： 有一句话叫，第一个用鲜花比喻美女的是天才，第二个是庸才，第三个就是蠢材了。你能否再提供一些类似的，能用信息增益来解释的俗语呢？欢迎你在留言区和我互动。

预告： 下一讲，我会告诉你如何判断一条信息靠不靠谱。我们下一讲再见。

热门留言

闪闪发光的妻子：【课后联想】

我想起以前在北京动批打工的时候，老板早上四点多去大红门拿货，如果早上发货很火爆，马上周围七八家下午都有同款货，当第二天大家指着这款火爆的时候，老板又靠独特眼光又拿了新的款，很神奇的是，虽然她文凭不高，但是拿的款总是常常爆款引领周遭模仿潮流。而没有天赋但是能抓住时机跟着她追款的人，总是比一般的摊位赚的容易些。毕竟全国来上货的人，就那么几波…

一个服装批发小贩，因为自己独一无二的审美与对市场流行度的敏感度，让别人怎么追她款自己都是那楼里收摊最早赚的也不少的老板。

而家乡的小县城新开的辣鱼涮锅就没那么幸运，开业时候生意火爆，没多久县城又开一家，优惠多生意也还行，但之后第三家辣鱼涮锅开了的时候，三家生意都一般般了… 县城下馆子吃饭的就那些，这个秘方如果不是特别特别特别的话，很容易立刻死，即使有秘方，人也不可能天天去尝鲜，不如多练不同的特色，常加新菜品变化活动，好增加自身在小县城的寿命…

【课后反思】 不管别人做什么多成功，都不要盲目去跟风，投机投好了顶多轻松一阵子，一不小心就会懊悔一辈子。还是静下心来感受自己，每个人的起点经历运气都不一样，即使我们比别人努力更多，不一定就运气比别人好，不如找到自己喜欢的，低头哪怕做十年二十年，或许比追着别人收获的更有价值。人生短暂，不用活成别人，努力不给自己留遗憾。

2019.6.9. 00:27 努力努力再努力！

王黎璐：“删繁就简三秋树，标新立异二月花”，历史学家陈寅恪先生力戒雷同的“四不讲”就是这样的信息增益：“前人讲过的我不讲；近人讲过的我不讲；外国人讲过的我不讲；我过去讲过的也不讲。现在只讲未曾有人讲过的“。

Steve：#金勇笔记# #day15# #总结与收获#

H（X|Y）≤ H（X）

这里的Y是指只有我知道、别人不知道的独特消息。 如果是尽人皆知的“共同认知”，那么在这里也没用。 所以真正擅长利用信息去挣钱的人，是不是会把自己的独家秘密放到公开场合的，这样就失效了。 另一个感悟是， 如果想要被人记住，也要敢为人先，不做意见跟随者，而是意见领袖。

为了帮助大家理解信息增益的概念，我想再以决策树为例，和大家分享有的公司是如何利用群体信息的。

延伸阅读-决策树

在金融审批贷款业务时常用到一种叫做“决策树”的模型来评估申请借款人的资质。

每位申请人需要填写一张表格，上面包括：你的基本月收入、可用来还款的月金额、所工作行业、职级、过往借款记录与还款记录... ... 我们要建立一个像树一样的分类逻辑，以辨识哪些借款人的资质比较好（大概率上不会出现逾期还款），哪些人可能把钱放出去就基本收不回来了。 这也是风控部门（风险控制与管理）为什么话语权非常重的原因。

回到这棵“决策树”， 刚一开始要怎样划分用户呢？ 假设H（X）表示的是用户产生逾期还款的不确定性。

那么我们面对几百个特征，哪些特征应该优先关注呢──答案就是那些带来更大价值的特征。我们把所有的特征的增益值都计算出来：

IG(Y1) = H(X) - H(X|Y1) IG(Y2) = H(X) - H(X|Y2) ... 我们从这里选择IG值最大的特征，就是这轮中最好的特征，因为它能带给我们更多的信息。 比如说这个特征是“曾经有过一次信用卡逾期90天及以上”，这样第一层特征分叉的结果就是 ： 是 / 否； 重复进行以上的过程，其实就得到了一棵特征树了， 这就是决策树生长的原理。

我觉得这个思考过程在我们每个人的生活中都经历过：选择学校（专业）、男女朋友、公司、去哪旅游... ...

今天这一讲的内容比较长，但我还是希望把决策树这个经典工具介绍给大家。 作为机器学习的经典流派，我个人也非常喜欢这套基于规则的学习模型。

金勇 2019年6月10日 0点

Stone：用信息增益的概念来看卓克老师近期讲的课，杨振宁先生和师弟李政道的诺奖之争，就有了理论支撑

宇称不守恒，一开始的时候，大家一无所知，杨振宁第一个发言，提供了巨大的信息增益容易，后来无论是杨振宁自己，还是李政道，无论再做出多大，多正确，多么深入的研究发现，则都是在增益上补充而已，比不上杨振宁第一个发言的第一条信息

从物理学界对杨振宁的认可，也可以说明这一点。理论和实例都告诉我们：多做信息增益大的事情，少做信息增益小的事情

古小千：被骗第一次是纯真，第二次是无知，第三次就是愚蠢。

第一次被欺骗，信息增益最大；而第二次、第三次IG就很小了，若还被骗代表自己也有问题。创业讲究细分垄断，做事也要宁为鸡首、不为牛后，若重复别人已做之事，那么不易受青睐，找到没这么大的项目，冲出一片天反而较有机会。

去年我们医院耳鼻喉科才发了一篇Case Report，背景是被动物园工作人员被骆驼咬伤，于脖子处撕裂伤的手术与术后照顾，由于个案特殊，因此将其过程加以梳理后投稿，也是在当今医疗研究竞争的现况下，一种做出信息增量的努力。

最后回应老师提到『第一个说出看法的，常常就成为了意见领袖，跟着发表看法的，大家其实记不住。』这也是鼓励我们不要羞于发表意见，要勇于提出看法，不要错失表现自己的机会，永远敢于做信息增量的人。

Allelujah 朱磊：杨振宁先生一直建议学生不要把学术生命赌在高能物理上，因为他知道这个领域虽然很热，但很难有突破性的进展。

按照今天老师介绍的理论，杨振宁之所以如此建议学生，就是因为热门的领域有太多人钻研，能够做出的独创性、开辟性的信息增益有限，很难获得与付出相对应、甚至超额的成就。

听从他建议的学生，很多后来都成了大物理学家。

佛祖门徒：老师时常提醒我们做事不要有妄念，投资尤其如此，今天从信息论的角度，以科学计算的方式再次证明了这一点。其实，自以为靠听来的所谓“内幕消息”可以赚大钱的人不在少数，经常有炒股的朋友告诉我他掌握了一条来自于某企业高管告诉他的“独家内幕”，说是该公司马上就要宣布重大消息或采取重大行动之类的，现在应该赶紧买入这家公司的股票，然后消息出来后就可以大赚一笔离场。暂且抛开消息真假不谈，这种消息对于投资获益又能有多大效果呢？几乎可以肯定当你知道时，它已经是n手消息了，多少人先于你已经知道了，如果按照这种消息投资，能够不成为“接盘侠”已经算是幸运的。

过河小马：“吃别人嚼过的馍没味道”，也是可以用信息增益来解释的俗语。

焦裕禄在兰考治沙时，已经得了肝病，同志们担心在大风大雨中奔波会使病情加重，都劝他不要亲自参加一线调研，到时听取专门汇报就行了。但他拒绝了劝告，说：“吃别人嚼过的馍没味道。”坚持亲自到一线调研。

斜阳：奥卡姆剃刀原则：“如无必要, 勿增实体”。什么是必要，有信息增量的才是，否则用旧概念就足够了，沟通的效率更高，用太多同一个意思的不同概念反而会形成噪音。

莫冬腊：吴军老师这一课里讲到信息增益递减的规律，学习的时候可以联想经济学里的边际效用递减规律，它们的出现是因为系统里往往存在一条调节回路，这个规律也说明了吴军老师以前讲过的道理：众利勿为，众争勿往。 库恩在《科学革命的结构》中提到“科学范式”的概念，提出开创性理论是，确立范式，是革命，比如爱因斯坦提出相对论；而后来者的工作只是在范式里的常规科学，是完善，是补充，或者拓展，比如霍金的黑洞理论。

方兴（阳光芳草）：信息增量告诉我们，最好新开一个领域，发表新的见解，才能有可能贡献最大价值。

周杰伦是演艺圈一个华人说唱元素歌手，模仿者无数但无法超越；李小龙是一个勇闯好莱坞的哲学系出身武打明星，成就无人能及。杨丽萍是第一个用胳膊拧过腿的民族舞者，成就璀璨。

脸书是第一个网上交际平台，亚马逊是第一个大型网上购物平台。得到是第一个严肃的网上付费平台。

如果可能，成为第一个发声者，即使不能也要有创造性的模仿，才能最大程度提供信息增量。提供信息增量才能提供价值。

爱上圆运动：给自己留个学习笔记：通过这几节课我觉得要区分“信息有效”跟“信息有用”两个概念，1、系统的不确定性不会因为信息的再次使用而进一步降低，即信息只有第一次才是有效的；2、对于我们个人来说这种导致系统不确定性降低的信息是始终有用的，它所带来的好处是会变化的。比如在股市中如果发现某个与股价相关性高的因子，比如价值因子、动量因子等，随着知道的人越来越多，它能带给个人的收益率趋于平均，但当人们都觉得靠它无利可图的时候，反而能够提高哪些仍在使用的人的收益率，股市中存在因子轮动的现象应该就是生动的表现吧！所以这样提醒我们不要弃用有用的信息，哪怕是别人都知道的！鸡汤文的目的不是给老鸟看的，其实是给雏鸟读的！

1：吴军老师把信息增量发挥到了极致，在得到APP上，做了信息论的通俗版课程。应该是国内第一个这样讲述信息论的人😂。 对于读者，也很容易用这个信息论来炫技，拿出去信息论名词，因为平时很少有人接触信息论。所以你提供的信息量就会很大。

王晓彤：吴军老师好！

昨天正好复习《谷歌方法论》的投资篇，其中提到投资是没有一个标准的、没有适合所有人的好方法，而重点讲过的杜尔、林奇和米勒各自所采用的方法都不相同。

杜尔是通过和创始人接触，更加关注创业公司所做的事情对世界的意义，世界是否因为你而有所不同； 林奇是找到了衡量公司利润和发展速度的方法，也就是本讲中提到的没被别人发现的有效信息，依靠这个信息购买股票； 米勒则是寻找具有所谓最大价值的公司，并且保持估值方法的多样性。

用本讲视角来看，这三位投资人之所以选择不同的方法，除了个性之外，可能还有前人的思想传播开后已经没法再用、必须重新构建投资方法论的原因。 当然，一些原则是可以通用的，比如对一些好的股票长期持有。

5号：政治哲学老师的第一节导论课上讲过：为什么我们还要学习柏拉图，亚里士多德，洛克，尼采这些距离现在已经久远的思想家的著作？那是因为他们的思想定义了问题而不是提供了答案。他们定义的问题让所有后者使用，没有永恒的答案，没有最终的权威，答案永远都不充足。要靠自己理智的判断，心智的自由给出自己的选择。思想家提出问题，建立理论框架，信息增益最大。后者跟随，只是Y条件下的信息墒就小了。

晚霞：价值最大的就是把我原来的认知彻底翻个个。比如，我认为是因果关系，却是相关性。像这样的事，我在【得到】里的频率是很高的，几年来不断发生。 【得到】所有的课程我都能先睹为快，像最近的基因和法律课，我以为自己对这两个领域不会陌生，我父亲是医科大学毕业的，母亲还是生物系的讲师，央视的《法律讲堂》早几年我是每期必看的节目。但是，我听了这两门课都是一愣一愣的，因为从根本上打破了我原来的认知结构，发现自己完全是小白。 【得到】填补了我很多空白，所以对我来说是信息量最大的知识平台。

但完全陌生的领域我还不会马上就喜欢的，必须先适应一下。 正如万老师说的，喜欢=熟悉+意外。 在已经搭建了的平台之上再挖掘一下的感觉会更好，好几门课我都是已经在群里听完了，觉得将来有再咀嚼一遍的必要，所以自己还是再买下了课程。

张洋：吴军老师您好，我想到了“人家偷驴你拔撅儿”与“先下手为强，后下手遭殃”这两句，现实中确实存在抢占先机的优势，因为你可以快人一步达到，但是这种优势未必就能转化最终的胜势，而关键就在于能否保持领先，一方面就是要不断的创新，另一方面则是要持续的创造价值。

熵·维·层：突然想通一件事，法律人为什么要按某种原则处理案件，因为法律思维的核心也是降低信息熵，减少人们为了消除不确定性，需要提供的信息量。信息量越多，所要消耗的能量越多。

ZERO：正好最近也在学习刘晗老师的法律学课，关于信息增益问题，好像也可以和英美的判例法联系起来。 我们都知道判例法的一个特点就是只要形成了一个新类型案子的判决，以后基本上都会按照这个结果来判决类似的案件。这就好比在第一次遇到新问题案件的时候，信息熵是最高的，因为可能人们对于这个案子的内容、类型、影响都是带有一定程度的盲目的，于是会在这个最初的审理过程中反复推敲和博弈，最终给出一个确定（不一定是正确）的结果，那么以后再遇到类似案子的时候，只要将其归类到这个类型中，就相当于是降低了那个案子的信息熵，审理和判决过程都会加快，直到相关的因素发生了新的变化。

我还想到了吴军老师的“第三眼美女”理论，在创新这条路上，第一波和第二波的行为大概率是要夭折的，只有到了第三波，由前两波行为降低了信息熵之后，才能提升成功概率，不过这样来看，但是后来者居上了。

Bruce：江山代有才人出，各领风骚数百年。 与其重复前人的话语，反复传颂，不如站在他们的肩膀上，利用他们的智慧，得出自己独特的见解。成就自己，也发扬光大。 宁为鸡头，不为牛后。 与其在竞争激烈的赛场上拼搏，最终拼运气。不如借鉴吴军老师的众往勿争，寻找属于自己的领域，开辟一片自己的新天地。