Hadoop集群安装参考
一、说明
1.安装环境说明：
操作系统为Centos 6.4,安装的hadoop 版本为0.20.2-cdh3u6
2.安装后的集群环境说明：
集群内共6台机器，分别为namenode、secondnamenode、jobtrack、datanode(三个节点)，参考如下：
namenode节点： 192.168.8.67（主机名：namenode）
secondnamenode节点： 192.168.8.65 （主机名：secondnamenode）
jobtrack节点： 192.168.8.68（主机名：jobtrack）
datanode01节点： 192.168.8.62（主机名：datanode01） datanode02节点： 192.168.8.63（主机名：datanode02） datanode03节点： 192.168.8.64（主机名：datanode03） 3.安装用户为hadoop
4.安装目录为/opt/hadoop
二、安装
1.下载hadoop-0.20.2-cdh3u6.tar.gz
2.解压hadoop-0.20.2-cdh3u6.tar.gz并将解压后的文件夹重命名为hadoop
3.将hadoop文件夹分别以root身份上传至namenode、secondnamenode、jotrack、datanode01、datanode02、datanode03的/opt目录下
4.更改/opt/hadoop目录的所有者为hadoop用户
参考命令：sudo chown -R hadoop.hadoop /opt/hadoop
5.设置环境变量
参考如下：
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
6.设置各个hadoop节点的配置文件，参考如下
分别进入每个节点机器的/opt/hadoop/conf目录下完成如下配置：
(1).namenode：
a.core-site.xml：
io.file.buffer.size
65536
fs.default.name
hdfs://namenode:9000
hadoop.proxyuser.hadoop.hosts
*
hadoop.proxyuser.hadoop.groups
*
b.hdfs-site.xml：
dfs.permissions
false
dfs.name.dir
/home/hadoop/hadoop/data/name
true
dfs.replication
3
dfs.block.size
134217728
c.mapred-site.xml：
mapred.child.java.opts
-Xmx1024m
io.sort.mb
500m
mapred.tasktracker.map.tasks.maximum
4
true
mapred.tasktracker.reduce.tasks.maximum
2
true
mapred.job.tracker
jobtrack:9001
true
d.masters：
#secondnamenode的地址（可以输入主机名或者输入ip）
secondnamenode
#192.168.8.65
e.slaves：
#各datanode节点的主机名或ip地址
#192.168.8.62
#192.168.8.63
#192.168.8.64
datanode01
datanode02
datanode03
此项配置完成后，先别着急启动hadoop，好多东西还没设置，继续往下走.....
(2).secondnamenode
a.core-site.xml：
hadoop.tmp.dir
/home/hadoop/hadoop/tmp/
io.file.buffer.size
65536
fs.default.name
hdfs://namenode:9000
hadoop.proxyuser.hadoop.hosts
*
hadoop.proxyuser.hadoop.groups
*
b.hdfs-site.xml：
dfs.permissions
false
dfs.name.dir
/home/hadoop/hadoop/data/name
true
dfs.data.dir
/home/hadoop/hadoop/data/data
true
dfs.replication
3
dfs.block.size
134217728
c.mapred-site.xml：
mapred.child.java.opts
-Xmx1024m
io.sort.mb
500m
mapred.tasktracker.map.tasks.maximum
4
true
mapred.tasktracker.reduce.tasks.maximum
2
true
mapred.job.tracker
jobtrack:9001
true
d.masters和slaves无需配置
此项配置完成后，先别着急启动hadoop，好多东西还没设置，继续往下走.....
（3）.jobtrack
a.core-site.xml：
hadoop.tmp.dir
/home/hadoop/hadoop/tmp/
io.file.buffer.size
65536
fs.default.name
hdfs://namenode:9000
hadoop.proxyuser.hadoop.hosts
*
hadoop.proxyuser.hadoop.groups
*
b.hdfs-site.xml：
dfs.permissions
false
dfs.name.dir
/home/hadoop/hadoop/data/name
true
dfs.data.dir
/home/hadoop/hadoop/data/data
true
dfs.replication
3
dfs.block.size