$  kadmin.local   （运行这个命令的时候，有可能提示你输入密码，此时应该输入Unix密码）

或者

$ kadmin           （运行这个命令的时候，提示输入密码的时候，输入admin的密码）

kadmin:  addprinc -randkey hdfs/hostname1@YOUR_REALM

kadmin:  addprinc -randkey yarn/hostname2@YOUR_REALM

kadmin:  addprinc -randkey mapred/hostname1@YOUR_REALM

kadmin:  addprinc -randkey HTTP/hostname1@YOUR_REALM

 因为是在vbaby1-3上面搭建的环境，而且我们集群上的kerberos不支持-norandkey这个参数，使用yarn作为计算框架。所以命令如下：

kadmin:  xst -k hdfs.keytab hdfs/hostname1@YOUR_REALM HTTP/hostname1@YOUR_REALM

kadmin:  xst -k yarn.keytab yarn/hostname1@YOUR_REALM HTTP/hostname1@YOUR_REALM

kadmin:  xst -k HTTP.keytab HTTP/hostname1@YOUR_REALM

在有Jobhistory的机器上，执行以下命令：

kadmin:  xst -k mapred.keytab mapred/hostname1@YOUR_REALM HTTP/hostname1@YOUR_REALM

用klist命令来查看keytab文件，各个文件应该像这样：

Keytab name: FILE: /path/to/keytabs/hdfs.keytab

KVNO Timestamp         Principal

---- ----------------- --------------------------------------------------------

   4 03/10/14 11:40:38 hdfs/hostname1@YOUR_REALM (Triple DES cbc mode with HMAC/sha1) 

   4 03/10/14 11:40:38 hdfs/hostname1@YOUR_REALM (DES cbc mode with CRC-32) 

   9 03/10/14 11:40:38 HTTP/hostname1@YOUR_REALM (Triple DES cbc mode with HMAC/sha1) 

   9 03/10/14 11:40:38 HTTP/hostname1@YOUR_REALM (DES cbc mode with CRC-32) 

Keytab name: FILE:/etc/security/keytabs/HTTP.keytab

KVNO Timestamp         Principal

---- ----------------- --------------------------------------------------------

  13 03/10/14 11:39:36 HTTP/vbaby2.cloud.eb@CLOUD.EB (Triple DES cbc mode with HMAC/sha1) 

  13 03/10/14 11:39:36 HTTP/vbaby2.cloud.eb@CLOUD.EB (DES cbc mode with CRC-32)

c)部署kerberos的keytab文件

将创建好的keytab文件放到kerberos定义的文件夹中，默认是/etc/security/keytabs，即执行以下命令：

$ cp hdfs.keytab /path/to/keytabs

$ cp yarn.keytab /path/to/keytabs

$ cp mapred.keytab /path/to/keytabs

$ cp HTTP.keytab /path/to/keytabs

然后设置权限：

$chown hdfs:hadoop /path/to/keytabs/hdfs.keytab

$chown hdfs:hadoop /path/to/keytabs/HTTP.keytab

$chown yarn:hadoop /path/to/keytabs/yarn.keytab

$chown mapred:hadoop /path/to/keytabs/mapred.keytab

$chmod 400 /path/to/keytabs/*.keytab

6)停止集群之后，需要修改配置文件，来使得hadoop的安全机制发挥作用

注意：每个机器上的配置文件要是一样的才可以。

a)core-site.xml文件，添加如下内容：

  <property>

    <name>hadoop.security.authentication</name>

    <value>kerberos</value>

  </property>

  <property>

    <name>hadoop.security.authorization</name>

    <value>true</value>

  </property>

这几条中，最后一条尤为重要，因为datanode需要以root用户用jsvc来启动，而hadoop2.x自身带的是jsvc的32位版本，需要续jsvc官网上重新下载编译。这一部分见附录A jsvc的编译。

7）之后，就可以启动namenode了，我使用的是hdfs这个用户。执行：

$HADOOP_PREFIX/sbin/start-dfs.sh

之后，会启动namenode和secondnamenode，但是不会启动datanode。

启动datanode需要以root用户启动，执行：

$HADOOP_PREFIX/sbin/start-secure-dns.sh

8)为HDFS的目录设置sticky bit。方法：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.2/CDH4-Security-Guide/cdh4sg_topic_3_13.html

9）配置安全的Yarn

a)修改yarn-site.xml文件，增加如下内容：

<!-- ResourceManager security configs -->

<property>

<name>yarn.resourcemanager.keytab</name>

<value>/path/to/keytabs/yarn.keytab</value>

</property>

<property>

<name>yarn.resourcemanager.principal</name>

<value>yarn/_HOST@YOUR_REALM</value>

</property>

<!-- NodeManager security configs -->

<property>

<name>yarn.nodemanager.keytab</name>

<value>/path/to/keytabs/yarn.keytab</value>

</property>

<property>

<name>yarn.nodemanager.principal</name>

<value>yarn/_HOST@YOUR_REALM</value>

</property>

<property>

<name>yarn.nodemanager.container-executor.class</name>

<value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>

</property>

<property>

<name>yarn.nodemanager.linux-container-executor.group</name>

<value>yarn</value>

</property>

b）修改mapred-site.xml，添加如下内容：

<!-- MapReduce Job History Server security configs -->

<property>

<name>mapreduce.jobhistory.keytab</name>

<value>/path/to/keytabs/mapred.keytab</value>

</property>

<property>

<name>mapreduce.jobhistory.principal</name>

<value>mapred/_HOST@YOUR_REALM</value>

</property>

c）修改container-executor.cfg：

yarn.nodemanager.linux-container-executor.group=hadoop

min.user.id=499

注意：

• hadoop自带的container-executor是 32位的，需要重新编译hadoop的源码来得到64为的container-executor。编译方法见附录B——编译hadoop源码
• 需要将container-executor.cfg文件拷贝到/etc之下，因为启动nodemanager的时候要求改文件及其所有父目录的所有者均为root，所以干脆就把这个文件拷贝到/etc之下了。
• 将编译好的container-executor拷贝到$HADOOP_PREFIX/bin目录下，然后执行以下命令：

$chown root:hadoop container-executor /path/to/container-executor.cfg

$chmod 6050 container-executor

$chmod 400 /etc/container-executor.cfg

10）启动ResourceManager和NodeManager：

用yarn这个用户，执行：

$HADOOP_PREFIX/sbin/start-yarn.sh就可以启动整个yarn

11）跑一个mapreduce程序

用yarn跑了一个程序，验证是否成功。

附录A jsvc的编译

1.执行如下命令，下载commons-daemon的tar包

$wget http://mirror.esocc.com/apache//commons/daemon/binaries/commons-daemon-1.0.15-src.tar.gz

2.解压并编译

$tar zxf commons-daemon-1.0.15-src.tar.gz

$cd commons-daemon-1.0.15-src/src/native/unix

$./configure

$make

3.编译完成后会在该目录下看到jsvc文件，执行：

$file jsvc

可以看到如下信息，成功：

jsvc: ELF 64-bit LSB executable, AMD x86-64, version 1 (SYSV), for GNU/Linux 2.6.9, dynamically linked (uses shared libs), for GNU/Linux 2.6.9, not stripped

4.将生成的jsvc文件拷贝到$HADOOP_PREFIX/libexec中，然后在hadoop-env.sh中指定$JSVC_HOME到此路径。

5.在commons-daemon-1.0.15-src目录下执行以下命令：

$mvn -e -Dmaven.test.skip.exec=true -Dhadoop.profile=2.0 package

在target目录下生成commons-daemon-1.0.15.jar包，拷贝到$HADOOP_PREFIX/share/hadoop/hdfs/lib下，同时删除自带版本的jar包。

附录B hadoop源码编译

1. 安装maven

1）从官网下载tar包，解压，得到 apache-maven-3.2.1

2）修改环境变量：在/etc/profile中修改如下：

l

3）执行source /etc/profile的命令

4）执行mvn -version测试是否成功，成功则：

Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-15T01:37:52+08:00)

Maven home: /usr/local/apache-maven-3.2.1

Java version: 1.7.0_51, vendor: Oracle Corporation

Java home: /usr/java/jdk1.7.0_51/jre

Default locale: en_US, platform encoding: UTF-8

OS name: "linux", version: "2.6.18-194.el5", arch: "amd64", family: "unix"

2.安装protoc2.5.0。

（注意，一定要是2.5.0版，因为编译需要这个的支持。下载地址：https://code.google.com/p/protobuf/downloads/list）

1）安装依赖包：

$yum install gcc

$yum intall gcc-c++

$yum install make

2)解压protoc的tar包，然后，编译，执行如下的命令：

$tar -xvf protobuf-2.5.0.tar.bz2

$cd protobuf-2.5.0

$./configure --prefix=/opt/protoc/

$make && make install

3)配置环境变量，与之前的方法类似

export PROTOC_HOME=/root/protobuf-2.5.0

export PATH=$PATH:${PROTOC_HOME}/src

3.编译hadoop源码

1）安装依赖包

$yum install cmake

$yum install openssl-devel

$yum install ncurses-devel

我们的集群上没有cmake这个软件包，需要去下载安装

2）安装cmake

去http://www.cmake.org/cmake/resources/software.html这个地址下载包，解压后得到cmake-2.8.12.2目录。

执行：

$cd cmake-2.8.12.2

$./configure

$make

$make install

3)将编译好的cmake-2.8.12.2拷贝到/usr/local文件夹下，修改名字为cmake。命令如下：

$cp -r cmake-2.8.12.2 /usr/local

$cd /usr/local

$mv cmake-2.8.12.2 cmake

4）修改环境变量，修改/etc/profile这个文件，添加：

export PATH=/usr/local/cmake/bin:$PATH

5）让环境变量生效，执行：

$source /etc/profile

6)执行cmake --version命令，若出现以下内容，则成功了：

cmake version 2.8.12.2

3）将下载好的hadoop源码包解压，然后进入到hadoop-2.3.0-src目录下，执行以下命令：

$mvn package -Pdist,native -DskipTests -Dtar-Dcontainer-executor.conf.dir=/etc

（container-executor.conf.dir必须显示注明，它表示setuid可执行文件依赖的配置文件(container-executor.cfg)路径，默认会在$HADOOP_HOME/etc/hadoop下，不过由于该文件需要父目录和以上的目录的owner都为root，要不然会有以下报错，所以为了方便我们设置为/etc）

然后等待……

看到如下内容表示编译完成：

附录Ｃ　遇到的问题

1.出现关于GSS的问题：

解决办法：此时的kerberos票据已经因为超时而失效，需要重新用kinit命令来重新申请票据。（关于是否能否自动renew票据，还需要调研）

2.在Shuffle阶段报错如下：

解决办法：查看hadoop源码，这是由于本地库没有加载的原因，所以无法初始化SecureIOUtils这个类，所以需要加载本地库。但是，加载本地库，也没有那么简单，需要重新编译hadoop的源码，得到可以在64位机上跑的hadoop版本。编译方法详见参考链接3。加载本地库的时候，要注意在hadoop-env.sh和yarn-env.sh这两个文件中加入这样的两句话：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"

用来配置本地库的位置。

这样的话，HDFS的本地库肯定可以导入，yarn的本地库可能导入出现问题，这时候，要把yarn-env.sh中上面的第二句话改成以下的样子：

export LD_LIBRARY_PATH=${HADOOP_PREFIX}/lib/native:${LD_LIBRARY_PATH}

这是因为如果不按照这么写的话，container的初始化可能会被nodemanager杀死。

3.找不到container-executor.cfg文档的问题，所以无法启动nodemanager：

解决办法：仔细检查container-executor的权限，必须是6050或者---Sr-s---，而且所有者一定是root：hadoop才可以。再检查一下container-executor是否加载的是要加载的那个container-executor.cfg文件。用以下命令可以得知：

$ strings container-executor | grep container-executor.cfg