如果太快太迅速反而折戟沉沙的居多,互联网、移动、区块链、科技金融等等领域的发展例子还不少么?
当然,这里并不排除公有云厂商对企业级存储市场的好奇,也来试试企业级存储,并从中赢得新的掌声。
事实上,从云到it的路早就启程了,当然从it到云的路也照样早已开拔了。
你中有我,我中有你。这才是一个精彩的世界,这才是一个丰富多彩的产业。
全球布局,新场景催生技术迭代
早在2008年,为了探索阿里巴巴集团大规模存储解决之道,阿里云存储创始团队就此组建完成。
当时,作为在飞天系统里极其重要的一环,阿里云存储团队主要聚焦在存储系统如何应对阿里业务上带来挑战。也在那个时候,飞天大规模分布式存储引擎写下第一行代码,正式开启了阿里云存储的未来之路。
十年来,阿里云存储发生了几次重要的变化与更新迭代。
2009年,专门为虚拟机、阿里金融、邮箱、搜索提供通用存储服务的阿里云分布式存储引擎1.0正式发布,也可以叫做阿里云飞天分布式存储系统,内部代号简称盘古(pangu)。
到了2013年,阿里云分布式存储系统已经可以实现单集群服务器5000台规模的部署,同时在当年还打破了sort benchmark世界记录,100tb排序完成时间为377秒。
2015年阿里云再次升级存储规模,成功实现了单集群服务器10000台规模的部署,同时打破亚马逊纪录,最为关键的是阿里云存储产品体系基本完善了起来,拥有了所有云计算厂商中最齐全的存储产品线,包括对象存储oss、块存储 block storage、共享块存储、共享文件存储nas(支持nfs和smb/cifs协议)、表格存储、归档存储、日志存储、混合云存储系列等产品与服务。
2016年11月,在sort benchmark官方网站公布的2016年排序竞赛cloudsort项目的最终成绩中,阿里云以$1.44/tb的成绩获得indy专用目的排序和daytona通用目的排序两个子项的世界冠军,打破了aws在2014年保持的纪录4.51$/tb。从而让全球用户重新认识了普惠科技的阿里云技术与产品。
到了2018年,面向人工智能、科学计算、深度学习等未来存储场景,阿里云再次实现存储引擎升级,随着阿里云分布式存储引擎2.0的发布,一系列新品与升级相继公布,同时,采用双控制器的阿里云混合云存储阵列产品也首次正式对媒体公开亮相。不过它集成了阿里云存储服务,属于软硬一体化存储设备。
此外,专门针对线下企业级存储阿里云已经开始了新的规划,与此同时,阿里云推出了一系列混合云存储产品组合,包括混合云存储阵列、闪电立方数据迁移服务、云存储网关、混合云容灾和备份,满足企业级用户对于存储性能、数据物理存放地以及异地容灾和备份的需求。不仅如此,而且阿里云的高性能分布式专有存储系统也能直接部署在企业用户数据中心,提供块、文件和对象存储服务,无缝对接用户既有it系统。
十年的发展与积累,不仅让阿里云分布式存储系统“炉火纯青”,同时也借助阿里云整体的全球布局带来了划时代的发展与变化。
阿里云资深总监吴结生(jason)指出,目前为止,阿里云在全球已经布局了19个区域,完全实现了全球数据全球读,全球数据全球写。从而让云计算在帮助用户的数据存储与应用过程中,充分发挥出实际的价值与意义。
此外,阿里云连续两次进入gartner全球云存储魔力象限,充分证实了阿里云遍布全球的服务区域可以为全球用户提供完善的云存储服务能力。
当然了,不断更新迭代,这一切的发展都源自用户需求的变化。在新的场景下阿里云不断帮助用户激活企业数据,针对新金融、新零售、新技术、新能源、新制造、人工智能、生命科学等新领域与新场景,实现更低延迟更高吞吐的存储性能,驱动企业用户数据产生更大的价值。
因而,阿里云存储引擎2.0基于盘古系统架构,在容量扩展、速度升级、多样性扩展、普惠落地四个领域持续进化,并具备了更好的弹性伸缩能力。
在容量方面,阿里云存储引擎2.0为海量规模而生,为用户构建eb级的存储创新方案。集群最大规模可实现弹性部署到10万节点,并且分布式元数据管理完美支持小文件,同时支持hdd、ssd、混合存储等多种存储方式。
在速度方面,阿里云存储引擎2.0也引入了阿里巴巴基础设施事业群为挑战双十一构建的fusionengine文件系统。不仅支持微秒级别延迟,而且具备百亿级的iops能力。
同时,也引入 openchannel ssd、nvdimm和nvme ssd不同闪存技术和产品,实现存储介质和网络升级,加上软件升级的配合,带来了阿里云分布式存储系统2.0更高的性能。
针对用户数据保护方面,提供idc 基础设施、高可用性、数据级的多重保障,针对数据级保护方面实现了三个可用区容灾,支持多副本及ec纠删码容错。针对高可用性方面,具备全对称架构,实现全局无单点,用户io不中断,以及多流动态切换。
还引入了阿里云人工智能、自动运维的技术到阿里云存储引擎,针对硬件定损提供高准确率和召回率的预测与评估,提供机器、磁盘故障预测与预判,让整体性能更稳定。
四大产品创新升级,拉近企业级应用市场
当然,对于阿里云技术上的创新,也与阿里巴巴整体技术能力分不开的。从阿里巴巴集团整体出发,集合阿里巴巴集团技术力量,有利于对阿里云存储进行深入研发与应用推进。
更关键在于:阿里云基于统一的平台进行技术创新、迭代和优化,在任何情况下都要实现和保证数据的强一致性、正确性、可靠性、可用性,集中精力构建一个稳定可靠的分布式存储平台自然也就更新迭代更快一些了。
为此,1月9日,阿里云也对外强势公布了企业级存储的全新产品,包括四个系列产品创新与升级,即:essd、oss极速型、nasplus(极速io型、智能缓存型)、cpfs云上并行文件系统。
传统企业级存储市场的多年发展,已经形成了对于企业用户独特的培养与教育。然而随着企业用户在科学计算、生命科学、大数据、人工智能、视频渲染等新兴行业方面的诉求越来越强烈,对于存储性能、扩展性、网络吞吐等方面的要求也变得越来越不一样。
当然,更重要的一点在于生命科学、基因工程、天文研究等创新领域对于存储有了全新的技术要求和需求变化。这给了阿里云这样的公共云厂商带来了从云存储服务逐渐辐射和影响到传统企业级存储领域的全新机会,从而形成云存储对于企业用户的更深入的影响和应用。
为此,四大创新升级,也让阿里云存储拉近了企业级用户的应用,让企业用户可以便捷享受到高带宽、低延迟、高性能的服务与体验。
其一,就是essd高性能云盘,据阿里云伯瑜现场介绍,essd目前成为了全球最快的云盘,单盘实现了百万iops,延迟做到100微妙,具备4000mb吞吐量,即使做到大规模部署之后,单盘百万iops性能依然没有损耗。
不过,这里需要普及一下阿里云所提到的单盘概念,这个“盘”是个虚盘概念,典型的云存储,核心是并发。因为每一个单独的ssd盘,不管是英特尔还是三星等闪存盘厂商,理论上最高的iops也就那么多,官方都有公布。
同时,对于用户采用essd的成本来看,每次多买1gb容量就可以额获得100iops的增加。相当于,0.01元/每iops。这个每iops成本计算是某些传统企业级存储友商的几十分之一。实际上,对于用户来说,在性能提升50倍以上后,每月每gb价格为1元。显然,让用户的存储成本不断降低情况下,还可以更高效地存储更多的数据,从而践行了阿里云新时代存储系统4v标准之一普惠(value at scale)。
既然敢说,当然敢做。阿里云存储的essd百万iops是如何实现的呢?源自50gbps网络吞吐能力的rdma网卡、2gb/s单盘硬件吞吐能力的高性能ssd、luna高性能软件架构的块存储,这“三驾马车”的大力拉动下,让阿里云essd云盘实现了目前业界破纪录的性能。
在基础架构层面,让业务人员专注自身的事情不受底层资源能力限制,可以自由发挥。因而,对于像iops渴求比较高的oltp数据库用户来说,基于分布式架构的essd,性能和可靠性都可以同时满足用户的需求。
这里简单提一下luna架构,luna进一步实现了高性能软件架构下的块存储优化,在新的essd里面做了分布式的实现,同时之前的单链路也实现了多链路的升级,仿佛成了高性能io多链路的多车道高速公路,整体效能提升5倍。
essd针对超大规模架构下的低延迟网络实现了10万台弹性扩展,跨交换机延迟端到端仅为2微妙。部分其他云厂商也可以实现百万级云盘的iops,但是要在超大规模下实现这样的性能就并不是说的那么容易。
现场跑分结果,让与会者刮目相看。在mysql、postgresql三个典型的业务场景下,essd表现也非常“帅气”。
在模拟客户搭建mysql业务场景下的数据库事务操作等测试,数据库插入写数据的性能提升3.5倍,时延降低76%。
在模拟客户搭建postgresql业务场景下的数据库事务操作等测试,tps获得高达3.84倍的提升。
在postgresql不含索引,并且多表(1024个表),每次写多条记录的情况下,数据实时灌入业务场景的存储能力有了明显攀升,每秒插入行数的能力提升26.6倍。
其二是oss极速型对象存储。阿里云的云存储负责人承宗(许呙兢)表示,这是迄今为止最快的对象存储。
极速型oss单线程吞吐能力实现10倍性能提升,随机读延迟降低90%,每个客户最大可达1000万qps。显然,这是面向大数据和人工智能的易用高性能的存储方案。用户可以免去传统存储的不便,在oss上直接实现计算。当然了,这也是阿里云的最大特点所在,阿里云所有的云存储产品和服务都可以与云服务器、云数据库等其他不同类型的产品有机组合,并实现用户快速部署与应用。
oss极速型对象存储与之前发布的标准型oss、低频型oss、归档型oss一道,支持数据生产、加工处理、数据消费、归档等完整生命周期,提供针对从热数据到冷数据到完整方案,也是全球第一家将ssd融入到了对象存储。
其三是nasplus的极速io型、智能缓存型两个新品,与之前发布的nasplus容量型、性能型共同构建了阿里云全新的nasplus家族。
nasplus极速io型基于rdma网络提供极速io的文件系统,针对用户小io的大量需求,单路延迟降低到了500us,同时提供100万iops性能。针对用户短视频app不改变原生应用,实现千万数据级小文件包括短视频、头像等高速读取。
nasplus智能缓存型吞吐能力可以实现20gbps,单个文件系统存储能力可以高达10pb,在广电行业有着实际的需求,实现单台云图站的高清4k视频非编不在话下,实用性很强。
其四是cpfs并行文件系统。这是全球顶尖的云上超算超级存储引擎,iops达到1亿,最大吞吐达到1tb/s。云上并行文件系统对于基因测序、临床医学的应用有着广泛的前景,特别针对基因测序爆发式增长情况,在优化fpga基因测序集群能力下,17分钟内可以加载完1万个人类全基因组数据。更关键的是云上资源按需使用,tco可以实现70%的降低,这是基因测序等用户非常看重的方面。
由此可见,针对essd、oss、nasplus、cpfs的四大创新升级,再一次将阿里云存储拉近了与企业级用户应用之间的距离。同时,作为阿里云公有云核心系统来为阿里巴巴输出数据能力,阿里云存储已经在全球范围内为用户提供广泛的服务,为企业用户存储“无法计算的价值”。
未来之争,全面锁定混合云存储生态
到此为止,阿里云拥有了最为完整的企业级存储家族。包括由块存储、文件存储、对象存储、归档存储、表格存储组合的云上存储家族,由混合云存储阵列、容灾备份一体机、备份服务、闪电立方组成的面向混合云的线下企业级存储产品,以及与用户原有基础设施完美对接,具有自主上云能力的高性能分布式存储解决方案。加上在物理安全、硬件安全、虚拟化安全、云产品安全多层次的安全策略,实现用户业务、运营、数据、网络、应用、主机、账户的多方位安全保障。
从本地数据中心到阿里云,通过从云上到数据中心的整体存储解决之道,满足不同企业用户的需求,实现无缝衔接云下和云上资源。对于有着上云需求的大型用户,阿里云还提供闪电立方带来的大规模数据上云迁移服务。
这些都充分表明阿里云已经具备了在混合云策略上的整体部署。然而,构建混合云存储生态系统,还需要在互联、集成、方案三个方面形成生态力量,从而形成混合云存储的生态发展动力。
一是在阿里云产品和合作产品数据层面实现互联互通。阿里云的云存储负责人承宗指出,通过商业方式合作,存储厂商、备份厂商、容灾厂商等都愿意将其存储设备打通云,同时阿里云赋能这些合作厂商,将他们纳入阿里云存储生态体系,从而形成一个有机的整体。
二是形成阿里云产品与合作厂商包括与ai厂商、存储硬件厂商之间的产�...