2，大数据时代数据应该如何存储 pb或多pb级基础设施与传统大规模数据集之间的差别简直就像白天和黑夜的差别，就像在笔记本电脑上处理数据和在raid阵列上处理数据之间的差别。当day在2009年加入shutterfly时，存储已经成为该公司最大的开支，并且以飞快的速度增长。每n个pb的额外存储意味着我们需要另一个存储管理员来支持物理和逻辑基础设施，day表示，面对大规模数据存储，系统会更频繁地出问题，任何管理超大存储的人经常都要处理硬件故障。大家都在试图解决的根本问题是：当你知道存储的一部分将在一段时间内出现问题，你应该如何确保数据可用性，同时确保不会降低性能？raid问题解决故障的标准答案是复制，通常以raid阵列的形式。但day表示，面对庞大规模的数据时，raid解决问题的同时可能会制造更多问题。在传统raid数据存储方案中，每个数据的副本都被镜像和存储在阵列的不同磁盘中，以确保完整性和可用性。但这意味着每个被镜像和存储的数据将需要其本身五倍以上的存储空间。随着raid阵列中使用的磁盘越来越大（从密度和功耗的角度来看，3tb磁盘非常具有吸引力），更换故障驱动器的时间也将变得越来越长。实际上，我们使用raid并不存在任何操作问题，day表示，我们看到的是，随着磁盘变得越来越大，当任何组件发生故障时，我们回到一个完全冗余的系统的时间增加。生成校验是与数据集的大小成正比的。当我们开始使用1tb和2tb的磁盘时，回到完全冗余系统的时间变得很长。可以说，这种趋势并没有朝着正确的方向发展。对于shutterfly而言，可靠性和可用性是非常关键的因素，这也是企业级存储的要求。day表示，其快速膨胀的存储成本使商品系统变得更具吸引力。当day及其团队在研究潜在技术解决方案以帮助控制存储成本时，他们对于一项叫做纠删码（erasure code）的技术非常感兴趣。采用擦除代码技术的下一代存储里德-所罗门纠删码最初作为前向纠错码（forward error correction, fec）用于不可靠通道的数据传输，例如外层空间探测的数据传输。这项技术还被用于cd和dvd来处理光盘上的故障，例如灰尘和划痕。一些存储供应商已经开始将纠删码纳入他们的解决方案中。使用纠删码，数据可以被分解成几块，单块分解数据是无用的，然后它们被分散到不同磁盘驱动器或者服务器。在任何使用，这些数据都可以完全重组，即使有些数据块因为磁盘故障已经丢失。换句话说，你不需要创建多个数据副本，单个数据就可以确保数据的完整性和可用性。基于纠删码的解决方案的早期供应商之一是cleversafe公司，他们添加了位置信息来创建其所谓的分散编码，让用户可以在不同位置（例如多个数据中心）存储数据块或者说数据片。每个数据块就其自身而言是无用的，这样能够确保隐私性和安全性。因为信息分散技术使用单一数据来确保数据完整性和可用性，而不是像raid一样使用多个副本，公司可以节省多达90%的存储成本。当你将试图重组数据时，你并不一定需要提供所有数据块，cleversafe公司产品策略、市场营销和客户解决方案副总裁russ kennedy表示，你生成的数据块的数量，我们称之为宽度，我们将重组数据需要的最低数量称之为门槛。你生成的数据块的数量和重组需要的数量之间的差异决定了其可靠性。同时，即使你丢失节点和驱动器，你仍然能够得到原来形式的数据。
3，常用的大数据技术有哪些 大数据技术包括数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。1、数据收集：在大数据的生命周期中，数据采集处于第一个环节。根据mapreduce产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、web信息系统、物理信息系统、科学实验系统。2、数据存取：大数据的存去采用不同的技术路线，大致可以分为3类。第1类主要面对的是大规模的结构化数据。第2类主要面对的是半结构化和非结构化数据。第3类面对的是结构化和非结构化混合的大数据，3、基础架构：云存储、分布式文件存储等。4、数据处理：对于采集到的不同的数据集，可能存在不同的结构和模式，如文件、xml 树、关系表等，表现为数据的异构性。对多个异构的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。5、统计分析：假设检验、显著性检验、差异分析、相关分析、t检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。6、数据挖掘：目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。7、模型预测：预测模型、机器学习、建模仿真。8、结果呈现：云计算、标签云、关系图等。现在学西点技术挺好的。1、西点师社会需求量大。目前，中国西点精英人才稀缺，从业人员约百万，但优秀烘焙技术人才仍比较少。2、西点行业人才紧缺。不少企业尝试邀请专业西点师入企带薪培训，但这样的方式也远远不能满足用人需求，且抬高了用人成本，而所取成效却微乎其微。业内人士认为，要真正解决企业的人才需求，应该更多地依靠专业的职业培训机构力量。3、西点行业好就业。由于社会需求量大，而专业的西点烘焙师又供不应求，所以西点专业就业前景十分乐观，完全不用担心找不到好工作。4、就业快、创业容易。西点是投资少，风险小的行业，是创业投资不错的一个选择。学技术，可以选择学厨师技术，好就业，从事餐饮行业，有很好的发展前景，现在厨师工资高，待遇好，女生可以学西点，男生可以学西餐，中餐厨师都可以，到专业烹饪学校学习，都是实操教学，毕业后推荐到名企就业，技能加学历。必备的：一、大数据基础阶段大数据基础阶段需掌握的技术有：linux、docker、kvm、mysql基础、oracle基础、mongodb、redis以及hadoopmapreduce hdfs yarn等。二、大数据存储阶段大数据存储阶段需掌握的技术有：hbase、hive、sqoop等。三、大数据架构设计阶段大数据架构设计阶段需掌握的技术有：flume分布式、zookeeper、kafka等。四、大数据实时计算阶段大数据实时计算阶段需掌握的技术有：mahout、spark、storm。五、大数据数据采集阶段大数据数据采集阶段需掌握的技术有：python、scala。六、大数据商业实战阶段大数据商业实战阶段需掌握的技术有：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。