HDFS集群搭建步骤
1. 配置虚拟机的网路
用VMvare、CenterOS新建一个虚拟机node1，网络选择“桥接”模式，必须用root用户进入：
su -r root
访问目录并修改ifcfg-eth0文件：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
主要添加配置IP、子网掩码、网关，设置BOOTPROTO=static，其他无需更改。
DEVICE=eth0
BOOTPROTO=static
DHCPCLASS=
HWADDR=00:0C:29:C0:03:84
ONBOOT=yes
IPADDR=192.168.1.122
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
配置完成后，重启网络服务使其生效:service network restart
2. 修改主机名称：vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node1
3. 配置网络映射关系：vi /etc/hosts
192.168.xx.xx1 node1.comnode1
192.168.xx.xx2 node2.comnode2
。。。
4. 查看并关闭防火墙
service iptables status (查看防火墙状态)
service iptables start/stop(打开或者关闭只是本次生效)
chkconfig ipatbles off（永久关闭防火墙）
5. 用xftp 或者 FileZilla 工具上传jdk、hadoop到linux的node1上，解压并且安装
如果是压缩包直接解压： tar -zxvf jdk文件名称 指定目录
如果是rpm文件：rpm -ivh jdk文件名称 指定目录（默认安装在/usr 目录下）
6. 配置环境变量
vi ~/.bash_profile
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/home/software/hadoop-2.5.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source~/.bash_profile (使环境变量生效)
printenv 命令查看。
7. 修改hadoop目录：/hadoop/etc/hadoop 下的文件配置
core-site.xml (node1是主机名称)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.5.0/data</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node1:50090</value>
</property>
</configuration>
创建masters文件touch masters（创建） ：
vi masters（编辑）
node2（内容）
创建slaves文件，文件内容是，必须要一行一个主机名：
node2
node3
node4
关闭虚拟机，在当前机器上克隆几个相同环境的虚拟机，作为node2、node3、node4。
8. 在克隆的机器上，举例node2：
修改IP地址（修改ifcfg-eth0，更改IP地址、HADDR地址删除），
删除MAC地址的生成文件：/etc/udev/rules.d/70-persistent-net.rules，然后重启。
修改主机名称（network文件）
测试修改是否成功：ping node1进行测试
9. 进行免密设置，参考另一篇《配置Hadoop集群的免密钥登录》
10. 格式化HDFS ： hdfs namenode format
启动namanode： hadoop-daemon.sh start namenode
启动Hdfs集群： hdfs-start.sh
访问 : http：//node1:50070
JPS (查看已启动进程)
pwd（查看当前目录）