Hadoop文件操作可见,HDFS 并不是一个万能的文件系统
它的主要目的是支持以流的形式访问写入的大型文件
如果客户机想将文件写到 HDFS 上,首先需要将该文件缓存到本地的临时存储
如果缓存的数据大于所需的 HDFS 块大小,创建文件的请求将发送给 NameNode
NameNode 将以 DataNode 标识和目标块响应客户机
同时也通知将要保存文件块副本的 DataNode
当客户机开始将临时文件发送给第一个 DataNode 时,将立即通过管道方式将块内容转发给副本 DataNode
客户机也负责创建保存在相同 HDFS名称空间中的校验和(checksum)文件
在最后的文件块发送之后,NameNode 将文件创建提交到它的持久化元数据存储(在 EditLog 和 FsImage 文件)
以上内容由大学时代综合整理自互联网,实际情况请以官方资料为准。