设为首页 加入收藏

TOP

hadoop 日志管理
2019-04-18 00:37:02 】 浏览:54
Tags:hadoop 日志 管理
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/nulijiushimeili/article/details/79309980
一、Hadoop日志
1.在环境搭建好后,会生成日志在hadoop-2.5.0/logs目录下
2.只查看以.log结尾的文件
3.只有看日志才能准确定位错误
二、SecondaryNameNode
1.格式化namenode会生成元数据文件,系统会有一个根目录
2.元数据放在namenode内存中(启动以后)
3.namenode在启动之前,元数据同样会在本地的文件系统中
4.fsimage元数据镜像文件》存储元数据》namenode在启动的时候会读取它
5.用户对于HDFS文件系统的任何行为操作都会导致元数据发生变化》内存肯定知道
6.对于HDFS用户行为操作的记录都会卸载一个文件中,编辑在文件edits文件里
7.namenode主节点启动以后会先读取fsimage文件,再去读取edits文件
8.一般工作中namenode一般会一直保持在工作状态,不会轻易的重启或者关闭
9.用户对HDFS操作的次数越多,edits文件就会越大,导致读取时间过长
10.SecondaryNameNode可以解决这个问题
通过合并fismage和edits文件,缩短namenode的启动时间
11.配置SecondartNameNode
在hadoop-2.5.0/etc/hadoop/目录下配置hdfs-site.xml文件
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata-senior.ibeifeng.com:50090</value>
</property>
12.启动
sbin/hadoop-daemon.sh start secondarynamenode
13.访问
http://bigdata-senior.ibeifeng.com:50090(主机名+端口号50090)
192.168.192.100:50090(ip地址+端口号也是可以访问的)
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop介绍--Hadoop的家族 下一篇Hadoop zookeeper高可用配置

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目