数据存储需求不断增加 懂得如何取舍很重要
随着高清摄像机的普及和推广,数据呈现爆发式增长,而相关法律的出台(如《中华人民共和国反恐怖主义法》和《关于人民法院诉讼档案保管期限的规定》规定资料长周期保存)又成为有力的市场推手,加速了数据的暴增程度,对海量存储空间的需求为存储厂商带来了的良好机遇。目前物理介质存储器在存储密度、体积和成本的平衡方面已经达到瓶颈,传统的企业存储策略已无法跟上企业数据迅猛增长的节奏。数据存储技术有什么突破?我们真的需要将所有的数据都保存吗?或许对于数据存储,人类要做的不只是技术上的“开源”。
一、数据存储方式多样,全球数据量逐年递增
在数据量增长的背景下,容易生出一个疑问:这么多的数据,究竟都被存放在何处?其实回归本质看这个问题,非常简单,那就是“硬盘”。依此类推可知,庞大的数据的存储自然需要非常多的硬盘。比如谷歌,其早些年的数据中心就已经拥有上万块硬盘,如果按1tb(terabajt,太)的标准计量,能够达到10pb(petabajt,拍)的数量级,用于一般存储可以说绰绰有余。
而在国内,像云等数据存储服务则开创了10gbtor交换机、ssd(自制固态硬盘)等用于大规模数据存储的技术。但当数据量开始变得庞大,就需要以服务器作为主要存储方式。
服务器能够存储数据、处理数据。通过网络协议,使人们在客户端获取存储其中的数据,用户也可以上传文件。在上传和下载的过程中,形成了互联网频繁的数据交换,其外在体现是我们经常在一些科幻影视剧中看到的信号灯疯狂闪烁的画面。
当需要存储的数据越来越庞大时,增加硬盘、服务器和带宽都需要非常高的成本。因而对于更庞大数据的存储和处理,需要数据中心作为辅助。
在上图中,每个柜子中的每一排都插入了大约20~40台机器,整个数据中心就由成千上万台这样联网在一起的机器构成。不一定有硬盘,但一定有处理器和内存。其中的硬盘每天都会有人工进行置换,由于硬盘时常损坏,所以每份数据大概会在不同的机器中至少备份三份。数据中心的地点通常在地皮、水电、制冷价格较低的郊区。
这样的技术投资自然更大,但也视情况而定。像bat这样的巨头用户基数和数据体量极为庞大,相关产品众多,投资自然也随之增加。而一些小厂商没有庞大的数据,对数据存储方面的投入自然也少一些。
然而,全球数据量庞大已成趋势。据idc公布的数据显示,未来全球数据将维持50%左右的增长率,到2020年,全球数据总量将达到44zb(十万亿亿字节),中国将达到8.6zb,占全球的21%。
随之而来的是大数据市场的繁盛,根据中国信息产业研究院的数据显示,去年中国大数据市场规模约为116亿元,同比增长38%,未来将以40%左右的规模高速增长。数据量的飞速增长及市场的繁盛,需要存储技术的支撑。