大数据,或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5v特点:volume(大量)、velocity(高速)、variety(多样)、value(价值密度)、veracity(真实性)“大数据”是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。这些数据,并非公司顾客关系管理数据库的常态数据组。从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代[4]》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据的方法)大数据的4v特点:volume(大量)、velocity(高速)、variety(多样)、value(价值)。
二、概念
大数据的意义是由人类日益普及的网络行为所伴生的,受到相关部门、企业采集的,蕴含数据生产者真实意图、喜好的,非传统结构和意义的数据 。2013年5月10日,阿里巴巴集团董事局主席马云在淘宝十周年晚会上,将卸任阿里集团ceo的职位,并在晚会上做卸任前的演讲,马云说,大家还没搞清pc时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。借着大数据时代的热潮,微软公司生产了一款数据驱动的软件,主要是为工程建设节约资源提高效率。在这个过程里可以为世界节约40%的能源。抛开这个软件的前景不看,从微软团队致力于研究开始,可以看他们的目标不仅是为了节约了能源,更加关注智能化运营。通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据,捕捉如何杜绝能源浪费。“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”微软史密斯这样说。而智能建筑正是他的团队专注的事情。
三、大数据的意义
现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。 阿里巴巴创办人马云来台演讲中就提到,未来的时代将不是it时代,而是dt的时代,dt就是data technology数据科技,显示大数据对于阿里巴巴集团来说举足轻重。有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是成为赢得竞争的关键。大数据的价值体现在以下几个方面:对大量消费者提供产品或服务的企业可以利用大数据进行精准营销 做小而美模式的中长尾企业可以利用大数据做服务转型。
四、大数据的具体介绍
随着云时代的来临,大数据(big data)也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据(big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像mapreduce一样的框架来向数十、数百或甚至数千的电脑分配工作。简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜大数据的5个“v”,或者说特点有五层面:第一,数据体量巨大从tb级别,跃升到pb级别。第二,数据类型繁多前文提到的网络日志、视频、图片、地理位置信息等等。
五、大数据的应用
上世纪90年代末,美国航空航天局的研究人员创造了大数据一词,自诞生以来,它一直是一个模糊而诱人的概念,直到最近几年,才跃升为一个主流词汇。但是,人们对它的态度却仍占据了光谱的两端,一些人对它抱有近乎宗教崇拜的热情,认为大数据时代将释放出巨大的价值,是通往未来的必然之途。在一些观察者眼中,大数据已成为劳动力和资本之外的第三生产力。而怀疑者称,大数据会威胁到知识产权,威胁到隐私保护,无法形成气候。产业洞察研究院表示无论如何,大数据在风电领域已有所建树。首先,结合了大数据分析和天气建模技术的能源电力系统能够提高风电的可靠性。以往对风资源的预测不够精准,在风能无法贡献预期功力时,火电就要作为后备电力。这样,电网对风电的依赖程度越高,需要建设后备电站的成本就越高。另外,启用火电站的就等于向环境中释放碳排。然而,在大数据分析的帮助下,温度、气压、湿度、降雨量、风向和风力等变量都得到充分考虑,对风电的预测更加精准。电网调度人员可以提前做好调度安排,也有助于电网消纳更多风电。