HadoopHDFS

HadoopHDFS对外部客户机而言,HDFS就像一个传统的分级文件系统

可以创建、删除、移动或重命名文件,等等

但是 HDFS 的架构是基于一组特定的节点构建的(参见图 1),这是由它自身的特点决定的

这些节点包括 NameNode(仅一个),它在 HDFS 内部提供元数据服务;DataNode,它为 HDFS 提供存储块

由于仅存在一个 NameNode,因此这是 HDFS 1.x版本的一个缺点(单点失败)

在Hadoop 2.x版本可以存在两个NameNode,解决了单节点故障问题 

存储在 HDFS 中的文件被分成块,然后将这些块复制到多个计算机中(DataNode)

这与传统的 RAID 架构大不相同

块的大小(1.x版本默认为 64MB,2.x版本默认为128MB)和复制的块数量在创建文件时由客户机决定

NameNode 可以控制所有文件操作

HDFS 内部的所有通信都基于标准的 TCP/IP 协议

以上内容由大学时代综合整理自互联网,实际情况请以官方资料为准。

相关