Hadoop文件操作

Hadoop文件操作可见,HDFS 并不是一个万能的文件系统

它的主要目的是支持以流的形式访问写入的大型文件 

如果客户机想将文件写到 HDFS 上,首先需要将该文件缓存到本地的临时存储

如果缓存的数据大于所需的 HDFS 块大小,创建文件的请求将发送给 NameNode

NameNode 将以 DataNode 标识和目标块响应客户机 

同时也通知将要保存文件块副本的 DataNode

当客户机开始将临时文件发送给第一个 DataNode 时,将立即通过管道方式将块内容转发给副本 DataNode

客户机也负责创建保存在相同 HDFS名称空间中的校验和(checksum)文件 

在最后的文件块发送之后,NameNode 将文件创建提交到它的持久化元数据存储(在 EditLog 和 FsImage 文件) 

以上内容由大学时代综合整理自互联网,实际情况请以官方资料为准。

相关