您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

hdfs在hadoop中的作用是什么?

2024/6/14 12:42:38发布21次查看
hdfs在hadoop中的作用是为海量的数据提供了存储,能提供高吞吐量的数据访问,hdfs有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。
hadoop是一个由apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
hadoop实现了一个分布式文件系统(hadoop distributed file system),其中一个组件是hdfs。
hdfs有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。hdfs放宽了(relax)posix的要求,可以以流的形式访问(streaming access)文件系统中的数据。
hadoop的框架最核心的设计就是:hdfs和mapreduce。hdfs为海量的数据提供了存储,而mapreduce则为海量的数据提供了计算。
hdfs
对外部客户机而言,hdfs就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。但是 hdfs 的架构是基于一组特定的节点构建的(参见图 1),这是由它自身的特点决定的。这些节点包括 namenode(仅一个),它在 hdfs 内部提供元数据服务;datanode,它为 hdfs 提供存储块。由于仅存在一个 namenode,因此这是 hdfs 1.x版本的一个缺点(单点失败)。在hadoop 2.x版本可以存在两个namenode,解决了单节点故障问题。
存储在 hdfs 中的文件被分成块,然后将这些块复制到多个计算机中(datanode)。这与传统的 raid 架构大不相同。块的大小(1.x版本默认为 64mb,2.x版本默认为128mb)和复制的块数量在创建文件时由客户机决定。namenode 可以控制所有文件操作。hdfs 内部的所有通信都基于标准的 tcp/ip 协议。
更多相关知识,请访问:!
以上就是hdfs在hadoop中的作用是什么?的详细内容。
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product