设为首页 加入收藏

TOP

hdfs心跳机制
2018-11-29 08:12:57 】 浏览:23
Tags:hdfs 心跳 机制

hdfs心跳机制

1)hdfs是master/slave结构,master包括namenode和resourcemanager,slave包括datanode和nodemanager

2)master启动时会开启一个IPC服务,等待slave连接

3)slave启动后,会主动链接IPC服务,并且每隔3秒链接一次,这个时间是可以调整的,设置heartbeat,这个每隔一段时间连接一次的机制,称为心跳机制。Slave通过心跳给master汇报自己信息,master通过心跳下达命令。

4)Namenode通过心跳得知datanode状态

Resourcemanager通过心跳得知nodemanager状态

5)当master长时间没有收到slave信息时,就认为slave挂掉了。

超长时间计算:默认为10分钟30秒

而默认的 heartbeat.recheck.interval 大小为 5 分钟,dfs.heartbeat.interval 默认的大小为 3 秒。

Recheck的时间单位为毫秒 heartbeat的时间单位为秒

计算公式为2*recheck+10*heartbeat

例如:

如果 heartbeat.recheck.interval 设置为 5000(毫秒), dfs.heartbeat.interval
设置为 3(秒,默认),则总的超时时间为 40 秒

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Java HDFS API 追加文件写入内容.. 下一篇HDFS获取目录大小API

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目