31|大数据(一):从四个特征把握大数据的本质
31|大数据(一):从四个特征把握大数据的本质
你好,欢迎来到我的《信息论40讲》。
关于大数据,大家已经不陌生了,因为今天我们都不知不觉地使用了大数据,并且也在向那些为我们提供服务的公司提供大数据。当然,有人会说,使用大数据是IT公司或者互联网公司的事情,我自己不搞IT怎么会使用大数据呢?
其实你如果使用美图秀秀修图,或者使用华为手机照相,你在无形中已经用到了大数据。美图秀秀P图,不是根据规则来的,而是将你的脸往所谓“标准的脸”上靠,而“标准的脸”,上面各个尺寸基本上是我们每个人脸的平均值,是大数据统计的结果。
美图秀秀上市之后,在美国就被一些人告到法庭上了。不是因为产品做得不好,也不是因为财务数据有问题,而是因为一些美国人觉得,不论自己是白人还是黑人,都被P成了黄人。这也说明它背后用了大量中国人的数据进行训练。类似的,华为的手机有很多图像识别功能,而它们也是建立在大数据基础之上的。
那么,什么是大数据,它有什么特征?今天在媒体上经常看到一些公司讲自己是大数据公司,它们是真像美图秀秀或者华为那样拥有和使用了大数据,还是在炒作概念?我们怎样才能练就一双火眼金睛?这就是我们今天要谈的内容。
我们先从大数据的特征说起,这样可以帮助你判断真假大数据。
首先,大数据要求数据量大, 这一点大家没有疑问。数据量小一定不符合大数据的原则。至于数据量多大合适,我们在前面介绍了置信度的概念,数据至少要大到让统计的结果具有非常高的置信度。
其次,大数据需要具有多维度的特征,而且各个维度最好是正交的。 为什么多维度很重要呢?我们不妨看看仅仅是数据量大但是维度不足有什么问题。
我们一个人的基因全图谱数据,大约在1TB这个数量级,也就是1000个GB,这个数据量不可谓不大,但是它没有太大的统计意义,因为我们无法从一个人的数据看出是否有潜在的疾病。那么多几个人的数据是否就可以了呢?也未必。
比如我们有100个人的基因数据,我们发现某个人的一段基因和其他人不同,这是否说明他有疾病呢?我们得不出这样的结论,因为不同人的基因总是或多或少有些不同,否则也无法通过基因确认人的身份了。
但是,如果我们有另一个维度的信息,比如这100人过去的病例,那么就有可能发现某段基因和某些疾病之间的联系。这就是大数据多维度的作用。当然100人的数量还太少,得到的统计结果未必可信。
2016年,Google同斯坦福大学和杜克大学开展了一项长期的合作,就是监测并取得5000人全部的医疗数据。由于有了各个维度的数据,就有可能发现一些生活习惯或者基因和其它生理特征与疾病之间的联系。
今天,淘宝或者其他网店,能够有效地给你推荐产品,在很大程度上就是因为它不仅具有了你在网上购物的数据,而且还从其他渠道,包括在你不知不觉中,获得了生活上的信息。
比如,它可以根据你上网的行为,了解你的年龄、性别和教育背景,根据你晚上和白天的地点,了解你的工作地点和住址,甚至你的工作性质和生活习惯,比如是否经常出差,在什么样的饭店吃过饭,是否爱运动,是否使用名牌产品等等。
由于阿里巴巴数据收集的时间跨度比较长,它还可以看出人们消费习惯的变化。根据这些信息,它就知道你是谁,需要什么。在没有大数据之前,这种事情很难做到。
大数据第三个重要特征,是数据的完备性, 它在过去常常被人忽略,因为人类过去使用数据,都是采用抽样的办法来获取,根本不可能做到完备。抽样统计有一个问题,就是总有5%左右的小概率事件覆盖不到,如果最后运气不好,正好落在那5%,统计的方法就失去作用了。
今天情况就不同了,因为收集数据的设备无所不在,我们也在有意无意向它输送数据,因此获得完备的信息完全可能,这样一来就堵住了采用数据作预测的死角。
我们在前面讲到提高名片识别率的方法,就是从网上抓取全部的企业和私人联系地址,拿它们和从名片识别出的信息进行比对,就可以过滤掉几乎所有的错误。这里面其实就是用到了数据的完备性——也就是说,全部的地址、电话等数据我都收集完备了。完备性使得大数据可以算无遗策。
除了上述三个特征, 很多时候大数据还需要具有实时性, 因为在那些应用场景,一定时间过了,数据就失去意义了。
几个月前我在密云参加大学同学毕业周年聚会,会后我要赶回清华给同学们做讲座。讲座的时间是晚上7点,通常这段路(大约120公里)通勤的时间是两到两个半小时。我那天2点钟出发,原本怎么也能5点到清华,然后吃顿饭,再去会场。
谁知道刚离开密云不多久,进入到京承高速公路,道路就因为交通管制被堵上了,而这个信息手机地图上并没有及时给出,因为只是几分钟前发生的事情。于是我们绕道走京沈高速,当我们好不容易拐到那里,那条道也被封了,而且绕出来还很困难,因为大家都堵在那里。
最后我们绕道进入密云县城,过了不知道多少个红绿灯,又进入怀柔县城,沿着城区里的道路慢慢走。通常是看到地图上有一条通畅的道路,拐上去的时候就遇到拥堵。好在开车的司机对北京的道路足够熟悉,总算赶在7点前将我送到了。
如果我们能够随时获取道路信息,比如高速公路被封堵的信息直接通过车联网送达我们的汽车,那么也不至于那么狼狈。从这个例子,你可以看出万物互联的必要性。但是单纯从大数据出发,很多时候如果不能保证信息的实时性,作出的决定常常是马后炮。
要点总结
-
我们今天介绍了大数据的4个明显的特征,即数据量大、多维度、完备性和在一些场景下的实时性。我们特别强调了光是数据量大还不能构成大数据,因为它可能无法得出有效的统计规律,而多维度的特征则让我们可以交叉验证信息,提高准确性。
-
大数据的威力大家都看到了,那么可能有人要问,有了大数据,我原来从事的行业是否会消失?其实大部分行业不会很快消失,但是可能会以另一种形式出现。而具有行业知识的人要做的,就是用所谓的领域知识建立起不同维度之间信息的桥梁。
-
当大数据维度非常多之后,就会出现矛盾。下面这张图。左边的图有两个维度的信息,它们一同的作用是,圈定了一个目标范围。右边的图有三个维度的信息,但它们并没有共同的交点,这下麻烦就来了,我们到底该信谁呢?

消除数据之间的矛盾,也需要领域知识。因此在一个行业里从业很长时间,具有专业知识的人,不仅不会被大数据取代,而且有可能利用好大数据,在事业上更上一层楼。在未来的时代,有三类企业会受益于大数据。
-
第一类企业是类似于腾讯、阿里巴巴或者今日头条的公司,它们自己有数据,有技术,有应用场景,不需外人帮忙。
-
第二类企业有数据没有技术,包括很多大企业,比如移动通讯运营商、传统的银行和零售业等等,它们需要外人帮忙,但是通常出于保护自己利益的考虑,不会和第一类公司合作。这里面的专业人士,就能够解决上面数据冲突,以及将行业内不同维度的数据联系起来的问题。
-
第三类企业缺乏数据,但是有技术,于是它们需要为第二类企业解决实际问题。当然,在解决问题的过程中,它们或许能够进入很多领域,逐渐成为新的平台性公司,比如美国著名的大数据公司Splunk就是这么一步步发展起来的,它今天的市值高达200亿美元。但是在一开始,这类公司一定是做脏活累活。
思考题: 就大数据多维度的特征谈谈它对你的影响。欢迎你在留言区和我互动。
预告: 当然,无论是对于哪一类人,最关键的是要掌握大数据思维,这一点我们下节课接着说。

热门留言
Steve:#金勇笔记# #day32# #大数据-1#
四大特征:数据量大、多维特征、完备性、实时性。
在大数据计算范畴,我在公司负责的数据仓库是属于离线计算的。 一般地,我们内部会将一小时作为分界, 如果是分钟数据或秒数据则说明数据要求高实时性,这类数据交由另一个小组支持。 如果是处理隔天数据,则应该使用”冷数据“由数据仓库完成离线计算。
这里我举一些例子(前三特征),帮助大家加深对大数据的认识。
一、数据量大 目前我们公司的数据量是正常的中小型公司的规模: 千万用户、TB级余; 而Facebook这种十亿级体量,早就进入了PB时代。 小提示(我们可以用人均字节数 * 用户数, 评估一家公司的数据规模)
初中时候,我的第一部MP3是64兆的爱国者,那个时候听歌我只能每周听12首左右──再多就装不下了。 但现在大家使用的手机呢? 64~256, 单位是 GB ,20年,随身设备的体积大了一倍,而空间大了1000倍!
备注: 1024GB = 1TB, 1024TB=1PB, 1024PB=1EB ...
二、多维特征
前几天,有一位心理学背景的同事和我聊用户画像的问题,我以前帮过心理系的同学设计过调查问卷,通过设计问题判定用户的大五人格与DISC分析。 这里简单分享一些和她的交流内容: 用户基础数据(性别、年龄、学历、行业, 等); 用户时间偏好(日期:节假日偏好、工作日偏好;小时偏好;等) 用户设备信息(移动网络、wifi、IP更换、PC与移动;等) 用户行为特征(略) 用户结合商品-兴趣特征(略) ... ...
大家可以思考一下,用户画像工程师会如何使用这些信息呢?
三、完备性
在本科的时候,我的统计课程老师曾经细致地给我们介绍了SAS这款经典软件的多种抽样技巧。 但在工作之后,往往抽样的要求就不高了,很多数据应用层需要投入大量的时间在预处理与清洗的工作(data clean and pre-processing)上。 这是因为现在收集全量的数据变得容易,但同时也容易混入了脏数据。
举例来说,大家知道什么样的一段字符能够表示中国大陆地铁手机号呢? 如果你的答案是“11位数字”那就大错特错了。 这是因为手机号的制定要由三大运营商和网络虚拟运营商指定的,前三位数字是划片使用的,比如159就是移动号段,186就是联通号段。 所以一个合法的手机号就要满足指定的规则。 这里可以使用一种叫做“正则表达式”的处理技巧来清洗。
今天的内容我展开的比较多,通过一些例子帮助大家加深大数据的理解。
金勇
2019年6月27 零点
Hanskeng 尹桂政:“数据量大、多维度、数据具有完备性与实时性”
前段时间我做了一个用神经元网络(AI的一种模型),训练识别手写数字的一个程序。我们需要按照基础理论知识搭构成一个算法框架,然后通过已有的数据库去训练算法。当我们把程序写好之后,就是要通过不同的数据量、不同的隐藏层、不同数量的神经元去训练程序,然后再找出什么搭配是准确率最高的。
当时我就注意到一个问题,就是当你输入很小的数据量的时候,无论怎么改变其他条件都不可能得到一个好结果,因此数据量非常重要。
我觉得很多大公司是从多个维度去搜索我们的信息的,比如,阿里系,腾讯系的公司就是为了阿里和腾讯搜集数据的,他们在医疗、出行、餐饮等各个维度上去评估一个人的经济状况,进行量化评估,很容易的就能把一个人数据化。你的一切,大公司其实都知道。
在谈数据的完备性。在很多年之前,一次美国总统大选。媒体为了预测两位竞争者的民选意向,向很多民众进行调查,最后预测其中一位竞争者会获胜。最后却结果相反,这是为什么呢?原来,在那年他们也用了比较超前的“电话调查”。要知道,并不是每一个家庭都用得起电话,而用电话的大多是富人。这就使得他们收集上来的信息并不完备,并没有反馈所有阶级美国公民的意愿。而信息一旦不完备,那么最后预测的结果就会有偏差。
佛祖门徒:举例说明大数据多维度的特征应用。 第一、显性多维度数据关联。我在某平台预定了一张机票,预定成功后,平台就给我推送了当地的酒店和美食信息,而且各方面比较符合我的喜好。如酒店是从位置、环境、评价、价位、品牌、房型等各方面进行筛选后进行推荐的。 第二、隐性多维度数据关联。当我到达酒店后,发现忘了带剃须刀,于是在酒店用手机移动支付的方式购买了一个。当我回到房间打开电脑,进入某搜索引擎查找信息时,网站向我推送某购物网站的剃须相关产品信息,如剃须膏、刀片等。这是怎么做到的呢?因为我的电脑和手机经常使用同一个Wifi,大数据分析认为两台设备属于同一个人使用,所以进行了关联。这个维度的数据貌似与购物本身无关,但通过它可以精确跟踪我的行为,并进行信息推送。 记得老师在《智能时代》里还以百度《中国十大“吃货”省市排行榜》这个案例讲过大数据多维度,百度不需要做民意调查和饮食习惯的研究,而是从“百度知道”的7700万条和吃有关的问题里“挖掘”出来的。因为“百度知道”的数据维度很多,不光涉及食物的做法、吃法、成分、价格,还能收集一些隐含信息。比如提问者或回答者的个人信息,用的是手机还是电脑,用什么浏览器。这样,百度就可以得到不同年龄、性别和文化背景的人的饮食习惯。如果再结合每个人使用的手机或电脑的品牌和型号,分析他们的收入,百度甚至能分析出不同收入阶层的人的饮食习惯。也就是说,这些隐形维度对于饮食习惯虽然没有直接影响,但是如果把原来看上去没关系的维度联系起来,经过挖掘、加工和整理,就能得出有意义的统计规律。
金戈铁马:很多大型的国有商业银行,通常并不愿意给小微企业提供贷款,因为往往很难做好风控。但是,浙江台州有一家地方小银行,泰隆银行,一直都做的是小微企业的贷款;而且在很长一段时间里,业绩非常出色,而且风控也做得很好,坏账率很低。要知道,这对于高风险的小微信贷来说,是非常困难的。那么泰隆银行的经验是什么呢?那就是通过实地考察,从多个维度去收集这些小微企业的经营信息。比如说,要决定是不是给一个小商铺贷款,它会派一个专门的信贷员去蹲点,通过相当长的一段时间,观察和记录商店的客流量、交易金额、服务态度,还有货架上的品种丰富度,然后根据这些信息,做出是不是贷款、贷多少额度这些决定。事实上,这就是一种运用多维度的大数据,辅助决策的缩小版案例。 同样,如今我们每个人都很熟悉的蚂蚁金服,它给小微企业、中小电商提供金融服务的思维逻辑,其实和泰隆银行的做法,从本质来说是一致的。通过各类用户在淘宝平台上留下的海量、多维度的大数据,运用一定的算法,做出精准的决策,以极低的成本覆盖更多的用户;而且,随着新用户的增加,大数据还会持续的滚动增加,带来数量更多、维度更广的新数据、活数据,形成一个正向循环的增强回路,从而打造出一个数据驱动的金融服务平台。
王黎璐:大数据不仅仅作为一种技术手段,更是一种思维方式。在这种思维方式下,信息和知识的产生不能依赖单一维度的数据。大数据迅速增长的“量”仅仅是表象,所产生数据的多维度才是大数据的本质。利用数据从不同维度对世界的描述,而这些描述间存在着千丝万缕的联系。正是这些有意义的联系,才是使数据具有应用价值的关键,才是使大数据成为数据宝藏的根本原因。因此,多维度才是导致数据量指数级增长的关键,才是大数据的本质。从总体上看,正是由于大数据的多维度本质,才使得不同维度间的数据间可以建立千丝万缕的联系,并引爆了大数据在多个行业的应用。
卢海林:何帆老师在《变量》中提到一个很有意思的现象。讲的是“义乌老板成功预测美国大选”的案例。
何帆老师讲,义乌老板是见过世面的,他们曾经比国际政治学者更准确地预测出2016年特朗普会当选美国总统。 怎么做到的呢? 因为他们拿到的支持特朗普的旗子订单,是支持希拉里的旗子订单的10倍。
所以,我觉得“大数据”,不只是电脑里的数据。这个生活化的观察角度,也算是“大数据”的一个维度。
WvkvW:药物:高血压一般两种药,医生也不是很确定,会让病人自己试哪一种有效,维度有限。痛风也有几种药,有的是肝脏代谢有的肾脏代谢,有基因测序技术可以知道吃哪种副总用小,多一个维度。一般的消费级基因测序也会提供药物敏感性分析结果,可以简单参考。
看NBA,数据维度越来越大,有传统的得分篮板等,有高阶的在场不在场对比,得分来自球队配合还是单挑、哪个区域,防守干扰对方投篮有效性等,还有大数据公司SportVU(05年军转民)用高速摄影机抓取的付费球场信息,比如身体接触情况(代表无球卡位积极),接到传球是否舒服(差了十几厘米可能会影响投篮时机)等。虽然球迷直接看这些数据成本高,但看专业球评文章的时候,就更能知道场上真实的情况,比如某后卫篮板多,是因为中锋帮他卡位,使得球可以更快到后卫手里(而不用传一次),推进进攻节奏。 运动科学,传统经验是球员落地时选择屁股着地可以减轻腿脚的压力,现在可以在训练的时候监测各个关节受力的情况,减缓积劳成疾。
吴仲谋:吴军老师在信息论的第3讲,提到了斯坦福大学医学院,利用大数据思维,缩短新药的开发周期;
在第27讲,提及IoT的应用,可以有效地让我们预防疾病;
类似的,得到之前解读的《向世界最好的医院学经营》,其中说到了美国克利夫兰诊所在医疗体系中率先应用了大数据,从而实现对病人快速诊断,和进行创新疗法的过程;
结合本节课对大数据特征的梳理,让我强烈的感受到,人类利用科技手段,向命运叫板的实力;
我从16年开始佩戴Apple Watch(之前是智能手环),到现在为止,几乎每天都能完成三环闭合。当然,换来的是更强健的体魄;
大数据,让我离世界更近,也和自己更近。
武昭:我是从事变电运维工作的值班员,结合大数据的4个明显的特征,即数据量大、多维度、完备性和在一些场景下的实时性,谈谈我的理解。
数据量大,这点在变电运维工作中体现得尤其明显,可以说只要有设备,就一定会有数据,从一次设备到二次保护,数据可以实时监测设备的运行状态,我们的工作就是确保数据处于正常状态,出现异常情况时及时处理。
多维度,这点在我们进行倒闸操作时体现得特别明显,倒闸操作是一项非常严谨的操作,每一步操作都必不可少,以拉合断路器为例,在拉开之前必须要检查电流指示正确,在拉开以后还要检查后台指示、电气指示、机械位置指示,检查这么多项的原因就在于从不同的维度确保断路器已拉开,不能只凭一个维度的信息判断。
完备性,最近公司正在大力开展泛在电力物联网的建设,将电力系统各环节万物互联、人机交互,具有状态全面感知、信息高效处理的特征,这也就体现了数据信息的完备性。
实行性,变电运维工作中对数据的处理时效性很高,特别是异常数据的处理,要求快速响应,因为处理不及时很可能会造成大规模的停电故障。
苇子洲:最近在学习人工智能,发现机器学习算法对数据进行分类时,即使是复杂的数据也可以找到一个维度或平面进行投影,投影后就可以更方便地进行分类,也就意味着在这个维度上看到的是更简单的信息,但其实数据复杂很多。这就像人们常说的,台上十分钟台下十年功,我们看到的往往是台上10分钟的表象,其实这只是台下10年功的投影。如果看不到这点,只追求好的表现,不免会陷入焦虑,因为缺少台下10年的积累。 现实中的事物往往存在很多维度,在不同的维度上甚至可能得到相反的结论,如果不能从多个角度来看事物,很可能会流于片面,判断也不准确。有些创业项目从逻辑上看很好,但落地到现实时就会出现很多没有被考虑到的维度,比如自身的战略和管理,竞争因素等,结果就可能会失败,所以创业是九死一生。罗振宇曾讲过的一个小段子,聋子看到一个炮仗炸开,说好好的一个纸卷怎么就碎了呢,这就是在看问题的时候缺失了重要的维度,导致看到的太片面。缺失了重要维度,我们可能无法理解事物;维度不够,判断就很难准确。这可能就是为什么查理芒格主张多元思维,用多个学科的经典理论来交叉验证,这样能更准确地判断,更好地指导自己的投资投资。 问题是我们需要掌握哪些维度,在信息爆炸的今天,穷尽一生也不可能学完所有的知识。查理芒格据说一生也只掌握了200个左右的思维模型。从信息的维度上看巴菲特的能力圈,就是用他掌握的信息维度能够很好地覆盖的范围。对于一个复杂问题,首先判断需要什么维度,然后检查自己是否能够在这些维度上进行判断,在自己有短板的地方寻求他人的帮助,这也许是一个比较好的方式。 也许将来不需要我们人来判断复杂事物的规律和模型,只要有足够的数据,用人工智能运算一下就能建立模型,这个前提是世界已经数据化,而且数据足够多。或者说将来可以找到训练好的模型拿来直接用就行,就像python的各种库一样,有一个训练好的人工智能模型库共享平台,这种方式也许是很好地利用群体智慧的方式吧。
岳山:有时候看新闻,说某地区选举的民调要用某种方式做,比如排除手机民调,这是不是在反向利用大数据一样,就是刻意避免结果的完备性?因为某种形式就意味着选民群体的不同。
这就让我想起吴军老师先前提到的小米公司反向利用摩尔定律一样,通过预定手机,半年后出货,实现给客户高性价比的承诺(虽然不一定真)。
启发是对一个现象或者规律要有本质的理解,包括全方面和多维度的理解,才能用好它。
咕伦敦哒:这门课程特别好,让我能系统滴思考多年来工作中面临的问题。做为一个在党政部门管理信息化的人,等于是给我理清了思路。 现在的党政部门存在大量的数据,但是这些数据最主要的问题是缺少收集的手段,每一项党政部门活动的过程细节,都应该选取必要的节点进行记录,为日后的数据分析打好基础。 与此同时,数据的搜集一定要注意关注的维度,特别是那些不同来源的数据,维度的正交性是在设计搜集方式时最应该关注的地方! 还有就是要全方位搜集,现在我们的数据搜集使用缺少一个统一的标准,能做到按照档案收集标准就已经不错了,但其实根据商务app的原则,每一个点击都是被搜集的内容,这就需要在设计搜集系统的时候,要把搜集全方位数据首要任务…… 党政部门理论上对于数据的实时性要求并不高,但是如果不能做到实时对数据进行搜集,在活动之后再对数据进行补充,就会造成数据的失真甚至缺失,这势必会影响日后数据分析的结果,这一点是党政部门数据搜集中最容易忽略的。 做到以上这些只是停留搜集这个层面,搜集显然不是目的,搜集数据的目的是要进行数据分析,最终指导我们的工作。但如果我们对于数据分析能干什么并不了解,那么我们就难以提出恰当的需求,这种需求既能充分利用数据,又能为工作决策提供依据,因而了解数据分析到底可以干什么就特别的重要。好在下一讲就会涉及这方面的问题…… 期待!
任英豪:今天老师提到的这个堵车的案例,很有意思,也很有启发性,我们都知道在互联网时代导航软件都已经免费了,每个人都可以便捷的使用,但是像这种具有丰富经验的司机,确实还有一些难以让机器取代的东西。 这里不得不提到伦敦的出租车司机,他们在长期大量的训练当中,我想除了记录各种各样地形之间的交通路线,应该还有另外一些机器无法取代的经验和价值。 如果能够通过大数据的多维度信把这些丰富经验挖掘出来,应该对我们的导航会有更大的帮助。
阳光:我是一名行政机关的领导干部。大数据多维度特征在我工作中的应用最多的是调研与做决策。一个好的决策,绝对离不开广泛深入、多维度的调研。领导干部如果听信一面之词,或者紧紧依靠单维度信息就草草决策,往往不会取得良好效果。我特别喜欢毛泽东同志关于调查研究的一个比喻,他说,调查研究就像十月环胎,领导决策就像一朝分娩。我说,大数据的大量积累、多维拓展、交叉印证、适时调整,就像十月怀胎;大数据的现实应用就像一朝分娩。
再如,你作为主人要安排一次宴请,事前一定尽量了解大多数客人尤其是一些主要客人的口味和喜好,另外,在突出特色的同时,还要把菜品安排的尽量丰富多彩,以满足大多数人的喜好。
行舟:今天的课程让我明白了“大数据”和“大量数据的区别。
我以前也觉得不可能只靠大量数据就能得出很多有效结论,但是一直想不清楚是什么将大量数据变成了大数据,今天明白了是完备的、多维度的信息才能叫大数据,这就像学习不是单纯的时间累计一样,学校不会因为你学习时间长就给你奖学金,而是需要你不断摸索时间以外的影响因素。
当然,有了大数据还没结束,要真正把大数据用上还得靠处理数据的技术,要想办法把数据的影响扩大到应用层面,这也是我们离开学校进入社会的过程。
杨进:说到大数据,我感受最深刻的就是打开购物平台时,系统会向我推荐一些之前在网上搜索过的商品。很多时候,我其实已经不在需要这个商品了,比如我已经买了,或是说我改变主意了。但这个时候,系统其实是不知道这些信息的,所以还会一直想我推荐这些商品。
如果说在以后,系统能够从更多的维度分析,然后再给用户推荐商品,可能体验就会好很多,而且促成的交易机会也会更大。比如我之前在网上搜索过这个商品,但系统从其他渠道知道我已经购买了,所以这个时候就不要再推荐之前搜索的商品,而是结合一些其他维度的数据,去分析预测我想要的商品。
另外,个人倒是觉得网购平台的相关推荐更靠谱。比如我在买一个商品的时候,这个时候系统为我推荐同类商品,或是一些相关性的商品,这种促成交易的可能性也更大。
高军61221809:就大数据多维度的特征谈谈它对你的影响。 百闻不如一见,人怕挨,酒怕筛,强调了多维度信息交叉认证,提高了可靠性和实用性。刻舟求剑提示了信息实时性的重要。 原来对乙醇汽油有偏见,认为毁车。从隔壁孙亚飞老师专栏维度看,进一步认识了乙醇汽油。“汽车发动机,燃烧转化为动力的效率在20%-30%,这是非常低效的。汽车工程师分析,是不是所有的原子都得到了充分利用?如果碳原子充分燃烧,会得到二氧化碳。实际上,有些碳原子只是转化成了一氧化碳,甚至转化成了炭黑,不仅没有产生能量,还吸收了能量。汽车工程师正在改进的方向,就是研究碳原子的化学反应,提高燃料到二氧化碳的转化率,从而提高发动机的燃烧效率。巴西现在已经有几百万汽车不用汽油,只用乙醇。实践证明,虽然乙醇的燃烧值比汽油更低,也就是同样重量的乙醇蕴含的能量更少,但是汽车动力并没有受到明显影响,汽车的性能反而更稳定了。这就是因为,乙醇的燃烧更充分,更符合原子经济。开车的时候尽量保持匀速,不要忽快忽慢。这样能让燃料燃烧得更充分,效率更高。每一脚油门,表面上看只是费不费钱的举动,却可以视为对先进技术的接受程度。”
乘舟❤远方:今天的内容收获很大,原来以为大数据就是要数据多,数据大,甚至我同学所在医院每年有18万人在他的科室做检查,他还说数据量不够大。今天才真正知道大数据概念,还有四个主要特征:1-大数据要求数据量大,数据量小不符合大数据的原则,数据要大到让统计的结果具有非常高的置信度。 2-大数据需要具有多维度的特征,而且各个维度最好是正交的,可以互相联系和验证。3-数据的完备性,过去常常被人忽略,因为人类过去使用数据,都是采用抽样的办法来获取,根本不可能做到完备。今天收集数据的设备无所不在,我们也在有意无意向它输送数据,因此获得完备的信息完全可能,这样就堵住了采用数据作预测的死角。4-大数据还需要具有实时性,在应用场景,一定时间过了,数据就失去意义了,万物互联非常重要。
KID:微软的Visual Studio2019版本中加入了一个新特性,就是一些内置的函数之前是按照命名的首字母排序。而新特性改成了结合上下文,按照使用频率从高到低排序。
数据是从GitHub上的开源项目和使用者个人习惯收集来的,GitHub是个代码管理仓库,有大量的开源项目,数据量多而且置信度高。 开发人员超过900万并且来自世界各地,因此数据维度多,这代表了绝大多数优秀开发人员的编程习惯。
通过这个优化排序可以让编程初学者在一开始就接触到很多人使用的方法,减少了学习的阻碍,提高工作效率。一些优秀的通用函数方法也会因为排在前面轻易有更多人使用,进而提高优先级,形成增强回路。
HAN:大数据之于我有几点影响:1、大数据用的最多的当属美颜相机了,平时看女士拍照的时候总喜欢用华为的手机,原理竟然就是华为大数据算法先进?2、我所在县政府也在搞大数据平台,但目前因为一系列的法规政策限制,平台上的数据及时性当不得保障,只是大量的存量数据,实际应用效果很差。 3、各个互联网公司好像都在拼命的收集我的数据,到处都能在网站和应用上看到似曾相识的商品,似曾相识的感兴趣的内容,全是猜你喜欢。
31|大数据(一):从四个特征把握大数据的本质
https://note.haoshenqi.top:/?p=category-xin-xi-lun-40-jiang-33
评论