s
namenode02:50090
The secondary namenode http server address and port.
dfs.namenode.checkpoint.period
3600
The number of seconds between two periodic checkpoints.
?
编辑mapred-site.xml，增加如下内容：
mapreduce.framework.name
yarn
The runtime framework for executing MapReduce jobs.
Can be one of local, classic or yarn.
?
编辑yarn-site.xml，增加如下内容：
yarn.nodemanager.aux-services
mapreduce_shuffle
the valid service name should only contain a-zA-Z0-9_ and can not start with numbers
The hostname of the RM.
yarn.resourcemanager.hostname
namenode01
?
创建文件 masters，增加如下内容：（实现namenode和secondarynamenode分离）
?
namenode02
?
修改文件 slaves，增加如下内容：
?
?
datanode01
datanode02
datanode03
datanode04
datanode05
datanode06
datanode07
datanode08
?
将hadoop文件夹拷贝到其他节点，使用上面的脚本scpFile
?
scpFile /home/sys/hadoop-2.6.1 /home/sys/
?
二、集群启动
?
格式化操作，进入到namenode01的hadoop根目录下，执行：
?
bin/hadoop namenode –format
出现Successfully字样的时候，即为格式化成功
?
注意：如果需要再次及多次格式化namenode，一定把hdfs-site.xml中dfs.datanode.data.dir目录清空一下，否则会造成重新格式化后DataNode启动不起来的问题。
?
因为该目录下有一个版本号，多次格式化可能导致DataNode和NameNode的版本号不一致。
?
?
sbin/start-dfs.sh
? ?验证，jps命令查看：
?
namenode01上出现NameNode进程
?
namenode02上出现SecondaryNameNode进程
?
datanode0*上出现DataNode进程
?
? ?即为启动dfs成功
?
启动yarn
?
sbin/start-yarn.sh
? ?验证，jps命令查看：
?
namenode01上出现ResourceManager进程
?
datanode0*上出现NodeManager进程
?
? ?即为启动yarn成功
?
三、修改hadoop启动日志目录
修改namenode、datanode节点默认日志目录
?
编辑hadoop-env.sh，修改HADOOP_LOG_DIR
?
export HADOOP_LOG_DIR=your path
修改resourcemanager、nodemanager日志目录
?
编辑yarn-env.sh，修改YARN_LOG_DIR
?
if [ "$YARN_LOG_DIR" = "" ]; then
? YARN_LOG_DIR="your path"
?
四、去除本地库加载失败的警告信息
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
?
原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题
?
修改加载本地库的日志级别
?
编辑 $HADOOP_HOME/etc/hadoop/log4j.properties，增加如下内容：
?
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR