设为首页 加入收藏

TOP

HDFS的NameNode功能
2019-03-10 12:18:43 】 浏览:18
Tags:HDFS NameNode 功能

NameNode主要功能:

1、NameNode主要功能:接受客户端的读写服务

2、NameNode保存metadata信息:

- 文件owership和permissions

- 文件包含哪些块

- Block保存在那个DataNode上(DameNode启动的时候主动把block汇报给NameNode)。

3、NameNode的metadata信息会在启动后加载到内存中:

- metadata存储到磁盘文件名为"fsimage"(做持久化操作,存储文件owership和permissions和文件包含哪些块)

- Block的位置信息不会保存到fimage

- edits(日志)记录对metadata的操作日志中(在持久化操作的间隔中使用的)

SecondaryNameNode(hadoop1.0版本存在)介绍:

1、它不是NameNode的备份(但可以做备份),它的主要工作时帮助NameNode合并edits日志和fimage,

减少NameNode启动时间。

2、SNN执行合并时机

- 根据配置文件设置的时间间隔 fs.checkpoint.period 默认3600秒。

- 根据配置文件设置edits日志大小 fs.checkpoint.size 规定edits文件的最大默认值64MB。

DataNode介绍:

1、存储数据(block)

2、启动DataNode线程的时候会向NameNode汇报block信息。

3、通过向NameNode发送心跳保持与其联系(3秒一次),如果NameNode10分钟没有收到DataName的心跳,

则认为其已经lost,并copy其上的block到其他DataName上。


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop _ Hdfs   java.io.IO.. 下一篇sqoop   把 hdfs 和关系型数..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }