|
|
|
2013年1月,维克托的《大数据时代》出版。由于互联网思维、大数据、云计算、移动互联网等新概念的兴起和衰落
从维克托定义的大数据使用的三个原则(不作为整体抽样;不作为效率的绝对准确性;不作为相关性的因果关系)来看,大数据的定义似乎正是针对小数据使用中的缺陷,这些所谓的缺陷是我们离线传统数据采集和处理。
当大数据流行的时候,是不是意味着我们积累了几十年、几百年的小数据处理方法已经过时了
目前,网络和工业界对小数据还没有一个标准的定义。美国甚至台湾都有小数据的定义。与服务趋势和策略的大数据相比,服务个体形成的数据指标应该称为小数据。例如,Google根据人们使用的关键词的相关性来判断H1N1流感的流行趋势,为卫生防疫部门提供预防决策,这是大数据的典型应用。耐克和苹果联合开发的“耐克+”软件为个人健康和运动提供数据指标和参考,这是典型的小数据类别。
我想说的是,如果我们看一下维克托大数据使用的三个原则和标准,我们可以清楚地看到,他所指的是我们用传统方法收集和整理的更多小数据。而本书的先行者之一谢文也明确表示,在互联网技术时代,全球将明显分为大数据时代、小数据时代和无数据时代,小数据的时代方向更加明显。
因此,我们定义的小数据应该是在信息和数据不完整的情况下,通过科学抽样和技术调整,为个人或具体问题提供数据参考的数据包。
随着互联网技术的发展,人们有可能降低整个数据的采集成本,直到被忽略为止。然而,传统的数据采集方法是在成本和准确度相平衡的情况下选择标准的采样方法。两种方法在数量级比较上不在同一体积级。在统计精度方面,数据越大,精度越高,结果将更接近事实。那一年,传统的数据处理受到数据越多,成本越大,或一些现实条件下,数据无法用尽的限制,不得不采取折衷的抽样分析方法。从数量上看,大数线上互动营销案例据确实比小数据好。
但是,小数据的分析方法,如样本方差等,试图利用各种参数来减小样本与整体的差异,使结果无限接近真实。从趋势判断和策略判断来看,抽样判断和综合判断往往是50步和100步的区别;另一方面,小数据时代积累的各种数据处理方法,仍然是大数据时代数据处理的基础和原则。如果我们放弃小数据来谈论大数据,大数据将是没有水源的木材和没有基础的木材。
另一个现实是,在现阶段甚至很长一段时间内,通过互联网自动收集所有数据是不现实的。技术的发展和普及需要时间,很多数据无法联网。比如,由于现实的财税问题,经销商数据的采集一直是一项艰巨的任务。ERP需要多少年,系统中的企业需要多少年的购销存,每个企业都知道经销商的相关数据中有多少水。
维克托提到,大数据的第三个原则是,大数据更注重相关性,而不是因果关系,即两组数据的相关性是数据处理的第一要务,至于为什么,问题要留给计算机自己处理。大数据时代的翻译家周涛对关联性和因果关系表达了不同的观点。我们常说有人不知道他在读什么,这通常意味着他知道他是什么,但不知道为什么。今天,大数据给了计算机自然的东西。用户只对自然负责。我和我的朋友开玩笑说,这可能是机器统治人类的第一步。
在一个高度繁荣的信息社会,你需要确保计算机的“运行”是可控的。有两个前提:一是设定开始时计算编程逻辑正确;二是机器处理海量数据时,不会因“疲劳”等因素而引起计算错误,这是大数据所面临的问题。
由于小数据是针对具体问题进行的数据采集、处理和分析,人为因素相对较大,而大数据的缺点恰恰成为TA的强项。在数据处理过程中,目标的指向性和人与数据的交互作用将更加有效。
关于大数据相关性的问题,我曾经在网上看到一段话,问什么因素影响寿命。有人通过相关分析得出结论,生日庆祝次数与寿命长短成正比。换言之,如果一个人想长寿,他应该庆祝更多的生日庆祝活动。有点常识的人知道这是一个有趣的笑话,但是当计算机给出其他与错误相关的结果时,我们中有多少人可以用常识来判断这是否是另一个有趣的笑话
利用小数据来抵制甚至忽视大数据时代的到来,是逆潮流而动的;但利用大数据时代来否定小数据的价值,是将大数据的历史与未来分开,仍然停留在伪数据时代。[作者:黄润林]