2011年分析调研机构idc发布的研究报告——《从混沌中提取价值》显示:2011年全球被创建和被复制的数据总量为1.8 zb,和2010年同期相比,这一数据上涨了超过1 zb,而且这些数据大部分是非结构化的数据。预测到2020年,全球数据量暴增44倍(相比2009年),总量会达到35 zb。根据图灵奖获得者jim gray提出的数据增长的经验定律——网络环境下每18个月产生的数据量等于有史以来数据量之和,因此海量数据处理的需求会变得非常普遍。
2012年,《纽约时报》称“大数据时代”已经降临,决策行为将基于数据和分析,而并非基于经验和直觉。这不是简单的数据增多的问题,而是全新的问题。旨在从互联网时代非结构化数据的庞大“宝藏”中获取知识和洞察力的计算机工具也正在迅速发展中。大数据技术领域的竞争,事关国家安全和未来,国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力。2012年3月29日,奥巴马政府投资2亿美元启动“大数据研究与开发计划”,是大数据技术从商业行为上升到国家意志的分水岭。预计欧盟、中国等大型经济体很快也会出台相应倾斜性政策,大数据相关产业链公司也将迎来快速发展的机会。