设为首页 加入收藏

TOP

一个用户访问HDFS需要经过的流程
2018-12-13 16:16:55 】 浏览:49
Tags:一个 用户 访问 HDFS 需要 经过 流程

1、客户端发送请求,调用DistributedFileSystem APIopen方法发送请求到Namenode,获得block的位置信息,因为真正的block是存在Datanode节点上的,而namenode里存放了block位置信息的元数据。

2Namenode返回所有block的位置信息,并将这些信息返回给客户端。

3、客户端拿到block的位置信息后调用FSDataInputStream APIread方法并行的读取block信息,流程是并发的,block默认有3个副本,所以每一个block只需要从一个副本读取就可以。

4datanode返回给客户端。


NameNode

是主节点,储存文件的元数据如文件名,文件目录结构,文件 属性(生成 时间,副本数,文件权限),以及每个文件的块列表和块所在DataNode等。

DataNode

在本地文件系统储存文件块数据,以及块数据的效验。

SecondaryNameNode

用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照


namenode,datanode以及secondarynamenode三个人去打架,namenode指挥datanode跟namenode汇报战况然后secondarynamenode辅namenode





】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇未完待续   HDFS中使用had.. 下一篇大数据的Hdfs与MapReduce介绍

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目