安装hadoop: hadoop-2.7.3.tar.gz

1、解压hadoop
mkdir /usr/hadoop
tar zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/

2、修改配置文件 #hadoop2.x的配置文件在/usr/hadoop/etc/hadoop目录下，1.x的配置文件在conf文件夹
cd hadoop-2.7.3
mkdir tmp #在hadoop-2.7.3下创建目录tmp
进入到cd etc/hadoop/

需要修改的配置文件:
(1) hadoop -env.sh #在文件第27行修改

export JAVA_HOME=/usr/java/jdk1.8.0_11

(2) 修改master ,slaves
vim masters
master
vim slaves
slave1
slave2

(3) core-site.xml

<configuration>
        <!--指定Hadoop运行时产生文件的存储路径 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/hadoop/hadoop-2.7.3/tmp</value>
        </property>
        <!--指定HDFS老大(namenode)的通信地址-->
        <property>
                <name>fs.default.name</name>
                <value>hdfs://192.168.222.100:9000</value>
        </property>
</configuration>

(4) mapred-site.xml.template
需要重命名mv mapred-site.xml.template mapred-site.xml

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>http://192.168.222.100:9001</value>
        </property>
</configuration>

（5）hdfs-site.xml

<configuration>
        <--设置hdfs副本数量-->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

3、将hadoop添加到环境变量
vim ~/.bashrc

export JAVA_HOME=/usr/java/jdk1.8.0_11
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source ~/.bashrc

4、把hadoop远程拷贝到slave1，slave2中scp -rp 192.168.222.128:/usr/hadoop/

5、格式化HDFS(namenode)
第一次使用要格式化
hdfs namenode -format

6、启动集群
cd sbin
start-all.sh 过时， 使用 start-dfs.sh ； start-yarn.sh
验证：jps

7、访问
HDFS：http://192.168.222.100:50070
Yarn：http://192.168.222.100:8088

注：
通过hostname直接登录master与slave:
vim /etc/hosts
添加：
192.168.222.100 master
192.168.222.128 slave1
192.168.222.129 slave2

永久修改主机名修改 vim /etc/hostname（立即生效hostname master）

在各台机器通过ssh hostname(master,slave1,slave2)可登录到其他机器上。

伪分布式搭建：
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html
http://www.cnblogs.com/ganchuanpu/p/6079650.html