设为首页 加入收藏

TOP

HDFS: EditLog的完整性增强
2019-04-14 12:18:44 】 浏览:28
Tags:HDFS: EditLog 完整性 增强
[size=medium]
  用户对HDFS的每步操作都会先记录到NameNode磁盘中的EditLog文件中。为了避免频繁操作磁盘对用户操作效率的影响,HDFS为EditLog在内存中分配两个buffer:一个用于接收用户操作指令;另外一个在用户想要刷新第一个buffer内数据时开始担当接收用户指令的职责。之后两块buffer不断切换角色,进行着上述操作。[/size]
[img]http://dl.iteye.com/upload/attachment/549162/46304c9a-68f9-38c6-b867-3a99e970c363.jpg[/img]
[size=medium]
  正是因为有内存中buffer的存在,当管理员shutdown NameNode时,就会丢失用户写入buffer且还没来得及刷新到磁盘中的那些操作记录。我们需要做的就是在NameNode加入shutdown hook,希望当NameNode接收到系统的关闭信号时,能正常刷新buffer中数据到磁盘中。

  如果我们能改动NameNode的代码,那么就可以像这样加入:(HDFS0.21)[/size]

// NameNode.java
public static void main(String argv[]) throws Exception {
try {
StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
final NameNode namenode = createNameNode(argv, null);
if (namenode != null)
Runtime.getRuntime().addShutdownHook(new Thread() {
public void run() {
namenode.namesystem.close();
LOG.info("Close FSNameSystem successfully");
}
});
namenode.join();
} catch (Throwable e) {
LOG.error(StringUtils.stringifyException(e));
System.exit(-1);
}
}


[size=medium]
  如果不能改动代码的话,可以通过HDFS提供的Service plugin来完成。Service plugin

是HDFS提供给管理员的access point,我们可以通过这个access point为HDFS提供一些扩展功能。同样地,创建一个关闭EditLog的plugin。

  创建一个EditLogPlugin的类,注意它的包名应该与NameNode在同一包下面,这是因为nameSystem只有在这个包下面才可以访问。[/size]

package org.apache.hadoop.hdfs.server.namenode;

import java.io.IOException;
import org.apache.hadoop.util.ServicePlugin;

public class EditLogPlugin implements ServicePlugin {

public void start(Object arg0) {
final NameNode nameNode = (NameNode) arg0;
Runtime.getRuntime().addShutdownHook(new Thread() {
public void run() {
nameNode.namesystem.close();
NameNode.LOG.info("Close FSNameSystem successfully");
}
});
}

public void stop() {
}

public void close() throws IOException {
}

}

[size=medium]
  打包这个类,然后把它放到Hadoop的lib目录下。在HDFS的配置文件中这样配:[/size]

<property>
<name>dfs.namenode.plugins</name>
<value>org.apache.hadoop.hdfs.server.namenode.EditLogPlugin</value>
</property>

[size=medium]
这样在NameNode启动后shutdown hook就会加入到系统中。

  但需要注意的是,NameNode中的shutdown hook只有在NameNode进程可以正常拦截系统进程的情况下才可以起作用。像SIGKILL(9)这样的系统信号是不能被进程接收、处理的。所以我们对EditLog正常关闭的期望是很局限的,只有尽最大可能地保证管理脚本和管理操作中不要有“kill -9 <pid>”这样的命令。[/size]

编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HUE整合HDFS MR 下一篇Hadoop HDFS配置——UnknownHostE..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(217) }