TOP

HDFS的NameNode功能
2019-03-10 12:18:43 】 浏览:1693
Tags:HDFS NameNode 功能

NameNode主要功能:

1、NameNode主要功能:接受客户端的读写服务

2、NameNode保存metadata信息:

- 文件owership和permissions

- 文件包含哪些块

- Block保存在那个DataNode上(DameNode启动的时候主动把block汇报给NameNode)。

3、NameNode的metadata信息会在启动后加载到内存中:

- metadata存储到磁盘文件名为"fsimage"(做持久化操作,存储文件owership和permissions和文件包含哪些块)

- Block的位置信息不会保存到fimage

- edits(日志)记录对metadata的操作日志中(在持久化操作的间隔中使用的)

SecondaryNameNode(hadoop1.0版本存在)介绍:

1、它不是NameNode的备份(但可以做备份),它的主要工作时帮助NameNode合并edits日志和fimage,

减少NameNode启动时间。

2、SNN执行合并时机

- 根据配置文件设置的时间间隔 fs.checkpoint.period 默认3600秒。

- 根据配置文件设置edits日志大小 fs.checkpoint.size 规定edits文件的最大默认值64MB。

DataNode介绍:

1、存储数据(block)

2、启动DataNode线程的时候会向NameNode汇报block信息。

3、通过向NameNode发送心跳保持与其联系(3秒一次),如果NameNode10分钟没有收到DataName的心跳,

则认为其已经lost,并copy其上的block到其他DataName上。

请关注公众号获取更多资料


HDFS的NameNode功能 https://www.cppentry.com/bencandy.php?fid=115&id=212481

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop _ Hdfs   java.io.IO.. 下一篇sqoop   把 hdfs 和关系型数..