一,namenode 元数据节点:管理文件系统
secondary namenode从元数据节点:元数据节点的别用节点
二,datanode 数据节点:存储数据的地方
1)客户端向其请求读取或写入文件,元数据节点发起
2)周期性的想元数据节点回报当前存储的数据快信息
三,block数据块:最基本的存储单位,默认64m,当一个文件大小小于一个数据块的大小时,并不会占用整个数据块的空间
write
1),client向namenode发起文件写入的请求。
2),namenode根据文件大小和文件块配置情况,返回给client它所管理部分datanode的信息。
30,client将文件划分为多个block,根据datanode的地址信息,按顺序写入到每一个datanode块中。
read
1),client向namenode发起文件读取的请求。
2),namenode返回文件存储的datanode的信息。
3),client读取文件信息。
简单操作:
当前hdfs的基本信息
$:hadoop dfsadmin -report
configured capacity: 15217328128 (14.17 gb)
present capacity: 8593608704 (8 gb)
dfs remaining: 8593297408 (8 gb)
dfs used: 311296 (304 kb)
dfs used%: 0%
under replicated blocks: 1
blocks with corrupt replicas: 0
missing blocks: 0
-------------------------------------------------
datanodes available: 1 (1 total, 0 dead)
name: 127.0.0.1:50010
decommission status : normal
configured capacity: 15217328128 (14.17 gb)
dfs used: 311296 (304 kb)
non dfs used: 6623719424 (6.17 gb)
dfs remaining: 8593297408(8 gb)
dfs used%: 0%
dfs remaining%: 56.47%
last contact: tue dec 11 01:16:30 cst 2012
列出hdfs的文件
$;hadoop fs -ls
found 2 items
-rw-r--r-- 3 sina supergroup 13 2012-12-05 01:43 /user/demo.txt
drwxr-xr-x - sina supergroup 0 2012-11-18 15:17 /user/docs
cat;
$ hadoop fs -cat /user/demo.txt
test-测试
