设为首页 加入收藏

TOP

Hadoop集群工作台查看日志报错问题及解决办法
2019-03-14 12:39:15 】 浏览:62
Tags:Hadoop 集群 工作台 查看 日志 问题 解决 办法

我们在hadoop集群一般需要在工作台查看日志,但是工作台查看日志一般会出现以下情况:

上面的原因是由于yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下:

一、在yarn-site.xml文件中添加日志监控支持

该配置中添加下面的配置:

        <!-- 开启日志聚合 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
         <!-- 日志时长 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                 <value>640800</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://master:19888/jobhistory/logs/</value>
        </property>
        <!-- 日志聚合目录 -->
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>/user/container/logs</value>
        </property> 
         <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>4096</value>
        </property>
         <property>
                <name>yarn.sche
		    

duler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>4096</value> </property> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>5</value> </property>

二、在mapred-site.xml文件中添加日志服务的配置

该配置文件中添加如下配置:若是有了的话,无需再次添加

<property>
    <!-- 表示提交到hadoop中的任务采用yarn来运行,要是已经有该配置则无需重复配置 -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
  <!--日志监控服务的地址,一般填写为nodenode机器地址 -->
    <name>mapreduce.jobhistroy.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistroy.webapp.address</name>
    <value>master:19888</value>
</property>

三、将修改后的配置文件拷贝到集群中的其他机器(单机版hadoop可以跳过该步骤)

快捷一点可以使用scp命令将配置文件拷贝覆盖到其他机器

四、重新启动集群的Hdfs和Yarn服务

./start-all.sh

五、 开启日志监控服务进程

在nodenode机器上执行sbin/mr-jobhistory-daemon.sh start historyserver命令,执行完成后使用jps命令查看是否启动成功,若启动成功则会显示出JobHistoryServer服务


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop大数据平台架构与实践 下一篇hadoop集群测试mapreduce程序的各..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }