07｜最短编码：如何利用哈夫曼编码原理投资？

你好，欢迎来到我的《信息论40讲》。

如何对信息进行编码才最有效？这个问题一直困扰着人们，我在《科技史纲60讲》中介绍莫尔斯电码时讲到，他根据常识对经常出现的字母采用较短的编码，对不常见的字母用较长的编码，这样就可以降低编码的整体长度。

下面这张图，其中圆点（嘀）代表电报机的继电器短暂的接触，长线（嗒）代表长时间的接触（要求至少是短接触时长的三倍以上）。

那么，莫尔斯电码确实做到了更有效的编码，但那是不是最优呢？还能不能更短呢？人们对此并不知道。

我们知道，如果对英语26个字母采用等长度的编码，比如进行二进制编码，需要log26。

那么log26就是约5比特信息。而采用莫尔斯的编码方法，平均只需要3比特，这个效率就高了很多，这样发报，时间就能节省大约1/3左右。

我们在谍战片中经常看到报务员还没有发完报，敌方的特工就冲了进来，这种场景并不完全是虚构的，因为在二战时欧洲德占区这种情景时常出现，因此省一点时间就意味着自身的安全。即使不考虑战争中的特殊情况，省掉三分之一的通信成本，也是很可观的。

无独有偶，全世界除美国之外，各国在设计长途电话区位码的时候，也充分考虑了每一个城市和地区的电话机数量，比如在中国北京、上海等重要城市就是两位，小城市就使用3位，这样做的目的是为了减少平均的编码长度。

那么是否能够证明，越常出现的信息采用较短的编码，不常出现的信息采用较长的编码，就能比采用同样码长的信息总体上更合算呢？答案是肯定的。

详细的推导步骤：

我们不妨看一个具体的例子。我们假定有32条信息，每条信息出现的概率分别为1/2、1/4、1/8、1/16……依次递减，最后31、32两个信息出现的概率是1/2^31、1/2^31（这样32个信息的出现概率加起来就是1了）。现在需要用二进制数对它们进行编码。等长度和不等长度两种编码方法，我们来对比一下：

方法一：采用等长度编码，码长为5。因为是log32=5比特。

方法二：不等长度编码，如果出现概率高就短一些，概率低就长一些。

我们把第一条信息用0编码，第二条用10编码，第三条用110编码……最后31、32两条出现概率相同，都很低，码长都是31。第31条信息就用1111……110（30个1加1个0）编码，第32条信息，就用1111……111（31个1）来编码。

这样的编码虽然大部分码的长度都超过了5，但是乘以出现概率后，平均码长只有2，也就是说节省了60%的码长。如果利用这个原理进行数据压缩，可以在不损失任何信息的情况下压缩掉60%。

事实上，这种最短编码方法等于香农第一定律的继续，它最早是由MIT的教授哈夫曼发明的，因此也被称为“哈夫曼编码”。

关于哈夫曼编码有三个要点值得一提：

1. 如果你还记得第5讲的香农第一定律，一定知道编码长度是有个理论最小值的，从数学上可以证明哈夫曼的这种编码方法是最优化的。

2. 哈夫曼编码从本质上讲，是将最宝贵的资源（最短的编码）给出现概率最大的信息。至于资源如何分配，哈夫曼给出了一个原则，也就是一条信息编码的长度和出现概率的对数成正比。

如果我们回顾一下莫尔斯电码，就会发现它是不自觉地采用了哈夫曼编码的原理。只是它没有严格统计各个字母的频率，没有完全做到最优化。

在一个极端的情况下，如果所有的信息出现的概率相同，采用哈夫曼编码，每一条信息的码长都一样，这时哈夫曼编码就变成了等长编码，没有优势了。

3. 在现实生活中，很多信息的组合，比单独一条信息，其概率分布差异更大，因此对它们使用哈夫曼编码进行信息压缩，压缩比会更高。比如说，在汉语中，如果对汉字的频率进行统计，然后压缩，一篇文章通常能压缩掉50%以上，但是如果按照词进行频率统计，再用哈夫曼编码压缩，可以压缩掉70%以上。

讲完了哈夫曼编码的原则，那么它又是怎么应用到我们的工作生活中呢？

其实，但凡需要分配资源的工作，它都有指导意义。我在《浪潮之巅》一书中介绍凯鹏华盈时讲，虽然换了三代掌门人，但它能在四十多年，20多期基金中，平均每一期基金的回报总是有40倍左右，这说明 它不是靠一两个人天才的眼光，而是有一整套系统的方法，保证投资的成功率。

那么它投资方法中的秘诀是什么呢？其实就是哈夫曼编码的原理，即 通过每一次双倍砸钱（double down），把最多的钱投入到最容易成功的项目上。 它具体操作的方法可以用这样一个例子来说明。

我们假定一期基金有1亿美元可以用来进行风险投资，怎样投资效果最好？我们列出三个做法：

• 平均地投入到100个初创公司。

• 利用我们的眼光投入到一家最可能的公司中。

• 利用哈夫曼编码原理投资。

我们还假设如果投资的公司最后能上市，将获得50倍的回报；如果上不了市，只是在下一轮融资被收购，将获得3～5倍的回报。在硅谷地区，获得投资的公司最终能上市的概率大约是1%，大家不要觉得这个比例低，它已经比世界其他地区，包括美国硅谷以外的地区和中国，高很多了。至于被收购的概率，在硅谷地区大约是20%，比中国要高很多。

如果使用第一种方法，基本上是拿到一个市场的平均回报，也就是一轮基金下来大约是31%到71%的回报，如果扣除管理费和基金本身拿走的分红，出资人大约能得到20%～50%左右的回报。通常一期风险投资基金投资的时间是2～5年（持续的时间可以长达7～10年），这样年化回报大约是5%～20%之间。

这是硅谷风险投资的平均水平，大家不要觉得风险投资一定能挣钱，在中国，大部分风险投资基金是赔钱的，而在硅谷赔钱的基金的比例也高达40%。

第二种方法，只投一家，这其实是赌博，如果碰上这家公司上市，有50倍的回报，碰上被收购的有2～5倍的回报，但是绝大多数情况则血本无归。

如果所有的基金都玩这样的赌博，虽然平均回报率和第一种情况相似，但是投资风险高达500%。根据投资领域普遍采用的夏普比率（请回到《硅谷来信》查看第145—148封信）来衡量，这是极为糟糕的投资方式。

第三种方法是按照哈夫曼编码的原理，可以先把钱分成几部分逐步投入下去，每一次投资的公司呈指数减少，而金额倍增。具体操作方法如下：

• 第一轮，选择100家公司，每家投入25万美元，这样用掉2500万美元。

• 第二轮，假定有1/3的公司即33家表现较好，每家再投入75万美元左右，也用掉2500万美元。至于剩下了的2/3已经死掉或者不死不活的公司，千万不要救它们，更不要觉得便宜去抄底。

• 第三轮，假定1/10的公司，即10家表现较好，每家投入250万美元，再用掉2500万美元。

• 第四轮，假定3%的公司，即3家表现较好，每家投入800万美元左右，用掉最后的2500万美元。

这样通常不会错失上市的那一家，而且还能投中很多被收购的企业。由于大部分资金集中到了最后能够被收购和上市的企业中，占股份的比例较高，这种投资的回报要远远高于前两种，大家可以估算一下，大约有3～10倍的回报。

当然，这还达不到凯鹏华盈40倍的回报，但是已经非常好了。你也可以认为，一个系统的方法和坚守纪律能够带来3～10倍的回报，而对于凯鹏华盈来讲，投资人的经验和人脉，带来的是剩下的那几倍回报。

当然大部分人不会去参与风险投资，但是这种分配资源的原则在哪儿都适用。我在之前《Google方法论》中介绍Google和Facebook等公司的管理方法时讲到，它们内部其实是一个大风投，各个项目一开始都有获得资源（主要是人力和财力）的可能性。

但是很快，通常是三个月到半年，类似的项目就要开始整合，资源开始集中到更有希望的项目上去。 最后能够变成产品上市的，是少数项目，但是大量的资源投入在其中了。 这样既不会失去新的机会，也不会浪费资源。

今天的华为养了一个拥有几万人的庞大的预研部门，很多人觉得这是有了钱之后嘚瑟浪费，但是你可以把它看成是一个内部的大风投，每一个前期研究，都得到一定的发展机会，而投入的资源并不需要太多，最后能够进入到获得巨大资源攻坚阶段的项目，终究是少数。

这个道理对个人来讲也是适用的。美国有名的私立学校哈克学校的前校长尼克诺夫博士讲，在孩子小时候，要让他们尝试各种兴趣爱好，但是最终他们要在一个点上实现突破， 他将这比做用圆规画圆，一方面有一个扎得很深的中心，另一方面有足够广的很浅的覆盖面。

要点总结

最后大家可能对我有一个问题。那就是你讲了半天哈夫曼编码，你自己是否采用了用它指导行动呢？简单的回答就是：“ 是的，我是这么做的。 ”

一方面 我从来不排斥尝试新东西，这样不会失去机会，我尝试过的各种事情远比外界知道的多，只是绝大部分失败了，我没有继续罢了，大家也就无从知晓了。

但是，另一方面 对于花了一些精力，看样子做不成的事情，我是坚决做减法止损， 这样可以把最多的资源投入到我擅长的，有兴趣的，可能也是成功率最高的事情上。这算是我对今天内容的总结。

思考题： 假定你有五天时间在巴黎度假，有些景点比较有名，你非常想去，但是可能比较拥挤。有些景点没有太大的名气，但是游人很少。你会如何安排这五天时间呢？

预告： 下一讲，我们就从信息聚类的角度讲讲语言编码的变迁，比一比拼音文字和象形文字哪个是更有效的编码。

热门留言

冯琨：今天的思考题很有趣，也有实用价值。 我会在纸上或手机、电脑上列出这些景点，做出一张二维表。 第一天，出发前先通过各种旅游网站或APP查询其资源类型，首先排除掉自己一定不喜欢的类型，然后规划一条线路在第一天尽量多的快速遍历所有景点，晚上或路上对所有去过的景点做出评价，最好用量化指标来标定每个景点； 第二天，在评分最高的三分之一的景点中规划路线，再较深度的游历一次，如果时间允许，带个导游来了解更多信息，晚上对白天的游览做小结，找到最喜欢的一两个景点； 第三天到第五天，深度游，泡在最喜欢的景点，细细品味和享受旅游过程中的收获。

在大型展会上，我经常使用这种方式进行参观。先快速按图索骥找到最想看的一系列展位，有时会用笔标出并规划路线；然后在午餐时回顾和标记重点内容，并把资料袋中的内容做精简；下午重点了解几个最希望了解的展位，并和相关人员进行深入沟通。

在实际操作中，还要考虑体力因素，要通过节约体力和充分休息来保证后期的旅行效果。

静姝：吴老师好，昨天在电梯里按完电梯键。我女儿突然问了一个问题。：妈妈你知道电梯哪个按键用的最多？哪个按键用的最少吗？我一下没有反应过来，没有回答。她接着说：是1楼的最多。2.3楼的最少。我立马悟出来了。再思考今天老师讲的看似选择很多，分出哪个最重要，就是重点投入就要多一点，其他的减少或者不去。回答老师问题，如果给我5天时间游巴黎我个人的选择是时间都用在合理分配游著名景点上，那些人少的景点我就不去了。时间有限，之所以人少就说明不重要。好奇心可以有很多，但是要知道哪是重点怎样取舍才最重要。掉坑里不要紧，要紧的是怎样想办法让自己爬出来。

jwu(作者) 回复：这个例子真的是太棒了👏

（来自金勇的回复）

卓克：看到几十倍的回报真是感慨方法的力量，不过我还是想补充一个压缩的想法。现代汉语中“词”出现的频次是符合幂律分布的，这样就比单独统计字要更陡峭的呈现“常用的高频出现”这个规律，不知道有没有汉字的压缩编码把词做单位压缩的呢？

启航：装满石头的瓶子 今天吴军老师讲到哈夫曼编码关于信息资源分配的逻辑，并以类比的方法介绍了哈夫曼编码对人们工作、生活的指导意义，最后提出了关于巴黎5天旅游的时间分配问题，其目的就是为了使同学们在潜移默化中更扎实的掌握哈夫曼编码的逻辑原理。 哈夫曼编码在哲学角度理解实际上是一个资源的纬度分配的问题，这个资源就是信息通道的容量和成本，而维度既包括时间、空间等容易感知的具体方面，又包括频域、轮次筛选和统计分配等高阶的不易察觉的具体方面，原则就是老师前面说过的两个，一是明确，一个是有效性。 谈一谈学习哈夫曼编码和今天课程后的感觉。无论是摩尔斯电码的编制，凯鹏华盈的风险投资，亦或是巴黎旅游的时间分配问题，其类比都让我想到了小时候玩过的一个简单的游戏。 游戏梗概： 幼儿园老师给每一个小朋友一个透明的玻璃瓶子，瓶子是广口的，可以放很多物品。在小朋友的面前堆放着一堆大块的石头，一堆小的碎石和一堆沙子。老师说谁：“大家将这些石头和沙子装进瓶子里，谁装的重量最大，我就会给谁奖励。” 于是小朋友们纷纷开始尝试。在这个过程中小明最后找到了最有效的方法就是先将大石头装入瓶内，晃一晃后，再依次装入碎石和沙子。当别的同学的瓶子还留有很多空隙时，小明的瓶子已经实实在在的填满了全部的空间。 老师表扬了小明的聪明机智，但游戏结束后老师又问了一个新的问题：“同学们，小明已经把这个瓶子装满了吗，我们还有没有方法往瓶子里装更多的东西？” 小朋友们纷纷眨着天真的大眼睛，无辜的看着老师，齐声说：“不能了吧！”只有小明若有所思的看着老师，悠悠的说：“老师，能不能给我一杯水？” 老师用赞赏的目光看着小明同学，递给了他一杯事先准备好的水，鼓励小明说：“你来试试看。” 神奇的事情发生了，只见小明在讲台前又演示着往他的瓶子里倒入了半杯水，小朋友们纷纷用崇拜的目光看着小明。 老师问小明：“你是怎么想的？” 小明不好意思的说：“爸爸曾经和我说遇事要多动脑筋。” 老师给了小明奖励后，示意小明回到座位，郑重的说：“有和无也是相对的，他们之间是可以相互转化的，时间和时间都可以充分利用，只要我们开动脑筋就能找到资源分配最佳的答案。”

    回到巴黎5天旅游的问题，其实日程安排很简单，热门而费时的游览就是大石头，而冷门而省时的项目就是碎石和沙土，要想安排的合理，刨去个人体力的差异，只要先将大石头放入5天的固定时间中，再搭配一定的碎石和沙土，甚至是水就好。
    感谢老师教诲！

Steve：#金勇笔记# #day7# #总结#

今天吴老师要告诉我们的道理是：对事物抱有区别心。越频繁，就要越重视、给更多的关注。 等长编码会浪费空间，因为它假定每个选项完全均等（也叫均匀分布），但是这种绝对平均的现象在现实中是极少出现的。 而要做到有效性，你就要在进制相同、传递同样的信息的前提下，使用更少的编码。 你是否对上节课讲得“有效性”有更深的理解了呢？

延伸阅读——你至少记住SOS怎么表达吧？

莫尔斯电码也是最早用于数字化通信的形式之一，它的代码有五种： 点 （·） 划（-）

我学习莫尔斯电码基本只记住了“SOS”的表示方式，大家不妨一记： SOS ···---··· （三点三划三点）

金勇分享 - 听风者

我在初中的时候玩过无线电测向，这在北京当时非常流行。 在一个不大的公园内，老师藏好3~10部发射信号的电台（之间需要保持距离，避免干扰）。比赛一开始，我们就在公园里，一边听电台发布的信号一边解析，直到找出自己需要的那部。大家都像特工一样，要判断公园地形、其他人的位置，以及最重要的电台发出的信号。

好了， 这是今天的笔记 2019年6月2日0点 金勇

鹏飞老师早上好：假如有10个景点，5天时间。可以先按照景点的知名度排个序，然后时间分配如下： NO.01 1天 NO.02 1天 NO.03 0.5天 NO.04 0.5天 NO.05 0.5天 NO.06 0.5天 NO.07 0.25天 NO.08 0.25天 NO.09 0.25天 NO.10 0.25天

哈夫曼编码的原理似乎符合幂律分布，集中精力解决主要矛盾，分清主次才能取得大胜利。

每天早上5点起床， 05:00-07:00  这段脑子最清醒的时间分配给专业学习； 09:00-12:00  分配给全天重要的工作； 13:00-16:00  分配处理日常性事物； 16:00-17:30  处理回邮件/回信息等闲杂工作事务 19:30-21:00  学习一个自己的兴趣领域 21:00-22:30  看看闲书/追追剧/陪陪家人等等放松事物

按照精力充沛程度不同，处理重要性程度不同的工作，这样的时间安排是否也可以用哈夫曼编码的原理来理解呢？

见微：游览著名景点获得的心理满足较多，而且游人也较多，无法快速游览完毕，应该分配给更多的时间。名气不太大的景点，参观以后获得的心理满足较少，而且景点的游人也很少，分配少量时间快速游览即可。

因此，可以选出最想去的三个一级景点，每天参观一个；然后选出两个第二等的景点，花一天参观；最后再选出四个第三等的景点，花一天参观。总共五天，可以参观九个景点。最多时间用在了能获得最大心理满足的景点上，而且符合游人多少能否快速游览的客观现实。

Sophie：我也非常喜欢尝试新的东西和探索新的领域，像建筑工程，市场营销，心理学，脑神经科学，机器学习，数据分析，画画，钢琴，小提琴，法语，计算机语言，都有所涉猎，但不是每一项都坚持下来，也并非给予它们同等的热爱。

不是尝试过坚持下来的才叫成功，放弃的就叫失败，因为有些尝试的价值，就是为了告诉我，这条路不适合自己，要果断放弃；而有些尝试，则为我打开一个全新的世界，带给我不一样的看问题的视角和解决问题的方法，即便若干年后，忘记了所学的知识，但在探索过程中所领悟的“道”和思维上的升级，永远都在那里。所以时间会帮我淘出属于自己最纯的金子，只要不放弃探索的脚步。

现在，我终于找到了三个令自己兴奋不已并愿意为之奋斗一生的方向：1. 研究有效学习方法，创建在学习中可迁移的思维模型库。我对思维方式的研究有着极大的兴趣，这和得到大学在做的事情不谋而合，只是打磨的方式不同，我从2015年开始就一边进行理论研究、一边在实践中探索，一边把它们写成书，当然这是一个需要不断完善的过程，但我乐此不疲。😄 2. 艺术创作，慢慢形成自己独特的艺术风格，并保持开放，不断创新。3. 目前在做三个领域（音乐、旅游、时尚）智能系统的研究，对于这个方向，现在充满激情，但是不确定能做出怎样的结果，也不确定是否会一直在这个领域深挖下去，所以摸着石头过河，边走边看。这三件事都有一个共同特点，就是我喜欢创新，喜欢原创，无论是理论模型，艺术创作，还是智能系统，我都希望做出自己独有的风格和价值。

随着方向的确定，我现在所有生活和工作的重心，都放在了这三件事情上。其余看似能短期为我带来利益的工作，能推则推，不能推就尽量花最短的时间去处理。有了明确的人生方向，每天都会充满激情，虽然奋斗的道路很辛苦，但同时充满惊喜和满足。直到现在，我才深刻体会到这句心灵鸡汤：每天叫醒你的不是闹钟，而是梦想。

Vincere_肖涵哲：信息论 | 最优-7

信源编码的本质，是将信息转化为适配信道传输的信号，压缩信源冗余度。可以分为两类：

1.有损编码：舍弃部分次要信息，减少数据量及其冗余，提高压缩比。 2.无损编码：又分为定长编码和变长编码。定长编码，即一个信源符号在编码转换后比特长度固定。变长编码，则将信源符号映射为不同的码字长度，Huffman编码和PB编码都属于后者。

通过老师针对哈夫曼编码应用至投资行为中的解析，可以提炼出一个思维框架：以理论划定基线和极限，以权变为决策原则，分配风险，迭代认知和做事方法。对于学习者来说，知行合一，才可生其心。

思考: 对于仅有五天的巴黎之旅，以WLP[Weighted Path Length，带权路径长度]切入，基于“距离为路径长度，名气，个人偏好和历史意义等为权重“构筑路线决策模型。计算最终的加权平均码长，可以看到Huffman二叉树依然最优。

另一个简单可偷懒的方法是，利用Explore-Exploit的三七法则，将一定距离区域内的景点分为两组，看37%名气大的和37%名气小的。

古小千：广泛兴趣、多方尝试，止损做减法、提高幸福率。

从压缩码长获得最短编码，谈到以哈夫曼原理来投资，最后引申到人生轨迹的指导原则，老师的类比总令人耳目一新。广泛兴趣，是要保持好奇心、求知若渴地提问；多方尝试，是要能行动起来，才能透过反馈知道自己适不适合、该不该放弃；止损做减法，要勇敢放弃不眷恋，省下精力和资源投入更擅长、更有兴趣之处，方能提高做事的成功率、提升幸福率！

回到老师布置的思考题，我可能会先考虑巴黎这些景点之间的远近，安排前一两天先实地都走过一遍（当然事前能利用线上的资源，尽可能先做足功课），选出其中最适合花费时间的景点，再将剩下三天妥善利用，一天一景点、甚至三天都在同一个景点，让在巴黎有个深度旅游，这符合今天学到的哈夫曼原理，透过算法来优化人生。

成功的要继续加码、喜欢的要继续培养，没有前景的要能止损，风投的思维能指导人生。

赵超英：哈夫曼编码揭示了信息优化的底层原理，对我学习与工作的指导意义有四条:（平面-立体-时间） （1）压缩（接收与传播:把书读薄）:对时间的有效管理，只读不熟悉的部分，只在有价值的事上都投入； （2）放大（应用:把知识用厚）:以不变应万变，相同的原理结合不同的条件，讲出不同的故事； （3）立体（倒圆椎模型）:单（少）点深入，定义了我的独特性；兴趣广泛定义了我的开放性，包容性。 （4）迭代（正反馈）:不放过一个机会，给定初值，机会均等；筛选分级，只关注有价值的机会，指数级投入。

佛祖门徒：课后思考： 据了解，以巴黎为中心去往法国各地比较方便，所以我的行动计划如下。 第一、对景点进行分类，然后按照自己的喜好、距离等进行排序，分配时间由多到少。 第二、按照交通便利性、参观最佳时间及相互间的位置等来规划路线，对于不太重要的景点，可以在较短时间内去打个卡，但还是要去看看，说不定有惊喜。 第三、优先把时间花在自己最想去的景点，预留充足时间参观，充分做好攻略，争取少留遗憾。

海问山：原来淘宝双十一对商家的赛马机制就是这个原理呀，先大规模商家报名，再筛选审核分为主会场、分会场和外围，双十一当天再根据卖货能力选出优秀的商家，给它更多流量，促成更大量的交易。具体描述可能不大准确，望行家指正，但原理看起来就是哈夫曼编码原理吧？

夏雨雪：#吴军信息论#

【程序员的学习成本投资】

编程语言，种类繁多，使用方向各异。不可能都去学习，因为学习也有成本，会消耗大量的时间精力。如果所学的知识，不能很好的服务于你的日常工作，那么这个成本投资就算失败了。

那么如何做技术选型呢？一个程序员，一般会有一个方向，然后围绕这个方向，打造自己的技术栈。有点像尼克诺夫博士讲的圆规画圆。比如我作为一名前端程序员，Javascript、CSS和HTML就是圆规扎的很深的中心，这些技术要掌握的很精湛，花大部分的时间来学习。然后由此向外辐射，定型技术栈。除此之外，还要花少量时间，选一些非前端的技术，一来它们在日常工作中也有简单的应用，二来不会放弃新技术早期带来红利的机会。

那么如何分配学习时间呢？对技术的学习，有个特点，就是时间的分配是流动的。早期的时候，你大可以平均分配时间到你技术栈的各个点上（第一轮），尽快能用整个技术栈来完成日常工作。当遇到难点的时候，再花时间去解决掉（第二轮）。等日常工作可以较为轻松的应对的时候，花时间在较为关键的技术路径上（第三轮）。最后，对最核心的技术，进入深入的研究，争取做到专家级别（第四轮）。这样看来，和霍夫曼编码原来还是有点像的。

最忌讳的就是见啥学啥，啥都会一点，但是都不精。

WJ：1）小时候考试前，老师对平时做题比较慢的同学总会嘱咐：不会做的题目先跳过去，把会做的先拿分，有剩余时间再做难题。 2）一二线城市之间的航班数相对于三四线城市，京沪线上的动车组发车频率相对于支线总是要多很多。 3）工作中的例子，雷达对目标跟踪时的资源调度算法，总是优先针对威胁度高的目标，因为对它们的跟踪比其它低威胁目标更有必要性。 我对哈夫曼编码的延伸理解就是：不同的回报/收益/效费比，区别性的投入资源，才更高效。

蕾_芯时体育_芯片计时：30多年前读研时就学过信息论，计算熵的公式是背过的，考试也是得高分的。但是，并没有真正理解公式背后的本质: 1.信息量单位是比特bit。（这一点当年不知道，很遗憾。一个数字如果没有单位，就没有意义。） 2.为什么是LOG? 因为要表达一条信息的所有可能性，需要多少bit的二进制数。 2的 bit数次方=信息的所有可能性数 解这个方程，就是LOG公式的定义 真是简洁明了！

Chelios chen：我对吴军老师说的要多尝试新鲜事物这个观点，深有同感。我在培养自己女儿的时候，其实也是不自觉的应用了这个方法，并且她所有就读的美国教育体系的学校教育也是体现了这一点。

学校每个学期都会提供各式各样的课外活动选择给我女儿。我女儿也是多种选择，很多选择她都是试试就放弃了。但是喜欢的活动一定会坚持下来。

回过头来说下国内的教育体系，国内的教育体系把学生的时间给排的满满的，课时长，作业多，而且家长还给不停的报补习班。学生真的没有时间去挖掘与发现自己的兴趣爱好。

从自己步入社会的经历来看，一定的兴趣爱好与能力是决定一个人是否能够加快成长的主要因素之一。我的女儿现在学习新事物的速度就很快，而且能够安排好自己的时间。相比国内的小孩，基本上所有事情与时间都是学校与家长给安排好的。没有自主权，这导致了自我管理能力的缺失，同时也泯灭了小孩的好奇心。

我是谁，我要去何方：昨天万维钢老师讲到一个把好运气最大化的方法（就八个字）：大胆开始，无情放弃。 感觉同今天所讲的哈夫曼编码投资原理是相通的，首先不放过任何一个可能的机会，然后刷选出那些成功概率比较大的机会，集中精力去实现它。 其实，这也符合大卫·李嘉图提出的 比较优势原理 ，找到自己比较擅长的技能，同其他人进行合作，才能创造更多的价值。

思考题：假定你有五天时间在巴黎度假，有些景点比较有名，你非常想去，但是可能比较拥挤。有些景点没有太大的名气，但是游人很少。你会如何安排这五天时间呢？ 1.先查阅资料充分了解当地的景点 2.从中选出自己喜欢的十个左右的景点 3.按照感兴趣程度，依次排序 4.选出1—2个自己最喜欢的景点，先安排充足的时间去参观、深入了解 5.将剩余的时间安排给其他的景点，按照排序依次游览，尽可能游览更多的景点，也许会从中发现惊喜

treemo：我们假定有32条信息，每条信息出现的概率分别为1/2、1/4、1/8、1/16……依次递减，最后31、32两个信息出现的概率是1/2^31、1/2^31；文章中是不是错了，最后一个不应该是1/2^32吗？

jwu(作者) 回复：不是，那样加起来就不是1了。

Zyrax：李笑来老师编写的《TOEFL核心词汇21天突破》其实也是利用了编码的方式。统计出词汇的词频重新编码，使得总体需要记忆的词汇量，即编码长度大幅压缩