设为首页 加入收藏

TOP

浅谈HDFS(二)之NameNode与SecondaryNameNode(二)
2019-09-30 16:49:54 】 浏览:73
Tags:浅谈 HDFS NameNode SecondaryNameNode
ame>dfs.namenode.checkpoint.period</name> <value>120</value> </property> # 指定namenode生成的文件目录 <property> <name>dfs.namenode.name.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value> </property>
  • 然后,如果SecondaryNameNode和NameNode不在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录,并删除in_use.lock文件
  • 最后导入检查点数据(等待一会儿ctrl + c结束掉)
[kocdaniel@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint
  • 注意:执行完该命令后,观察namenode已经启动(临时启动),而且每2分钟检查一次,如果确定已经恢复了数据,我们ctrl+c停止,然后自己手动起namenode

  • ctrl+c之后,重启namenode即可恢复数据,但是并不能完全恢复,可能会将最新的Edits文件中的操作丢失

集群安全模式

什么是安全模式

  1. NameNode启动时,首先将Fsimage载入内存,再执行Edits中的各项操作,一旦在内存中成功建立文件系统元数据的映像,则创建一个新的Fsimage文件和一个空的编辑日志,然后开始监听DataNode请求,在这个过程期间,NameNode一直运行在安全模式下,也就是NameNode对于客户端是只读的
  2. DataNode启动时,系统中的数据块的位置并不是由NameNode维护的,而是由块列表的形式存储在DataNode中,在系统的正常操作期间,NameNode会在内存中保留所有块的映射信息。在安全模式下,各个DataNode会向NameNode发送最新的块列表信息,NameNode了解足够多的块列表信息后,即可高效运行文件系统
  3. 安全模式退出判断:如果满足最小副本条件,NameNode会在30秒之后退出安全模式。最小副本条件是指在整个文件系统中99.9%的块满足最小副本级别(默认为1),即99.9%的块至少有一个副本存在。
  4. 在启动一个刚刚格式化的HDFS集群时,由于系统中还没有任何块,所以NameNode不会进入安全模式

基本语法

  • 集群处于安全模式时,不能执行任何重要操作(写操作)。
  • 集群启动完成后,自动退出安全模式
(1)bin/hdfs dfsadmin -safemode get      (功能描述:查看安全模式状态)
(2)bin/hdfs dfsadmin -safemode enter    (功能描述:进入安全模式状态)
(3)bin/hdfs dfsadmin -safemode leave    (功能描述:离开安全模式状态)
# wait是指,如果在脚本中写入此命令,则脚本将等待安全模式退出后自动执行
(4)bin/hdfs dfsadmin -safemode wait     (功能描述:等待安全模式状态)

NameNode多目录配置

  • NameNode的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性,提高高可用性
  • 具体需要在hdfs_site.xml中加入如下配置:
# 指定目录的路径
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>
欢迎关注下方公众号,获取更多文章信息

1

首页 上一页 1 2 下一页 尾页 2/2/2
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HDFS笔记 下一篇浅谈HDFS(二)之NameNode与Secon..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目