当前位置：首页 -> 基础 -> 数据库编程

Hadoop（CDH4发行版）集群部署(二)

2014-11-24 10:35:25 · 作者: · 浏览: 1
标签: Hadoop CDH4 发行 集群 部署
234 rpcbind on
8
chkconfig -level 234 nfs on
三、Hadoop Namenode & resourcemanager 主服务器 环境部署
1.登录192.168.1.1，创建脚本目录，把脚本从git仓库复制下来
1
yum –y install git
2
mkdir –p /opt/
3
cd /opt/
4
git clone http://git.oschina.net/snake1361222/hadoop_scripts.git
5
/etc/init.d/iptables stop
2.修改hostname
1
sh /opt/hadoop_scripts/deploy/AddHostname.sh
3.修改部署脚本的配置文件
1
vim /opt/kingsoft/hadoop_scripts/deploy/config
2
#添加master服务器的地址，也就是namenode主服务器
3
master="192.168.1.1"
4
#添加nfs服务器地址
5
nfsserver="192.168.1.100"
4.编辑hosts文件(此文件会同步到hadoop集群所有机器)
1
vim /opt/hadoop_scripts/share_data/resolv_host
2
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
3
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
4
192.168.1.1 nn.dg.hadoop.cn
5
192.168.1.2 nn2.dg.hadoop.cn
6
192.168.1.100 dn100.dg.hadoop.cn
7
192.168.1.101 dn101.dg.hadoop.cn
8
192.168.1.102 dn102.dg.hadoop.cn
5.执行部署脚本CreateNamenode.sh
1
sh /opt/hadoop_scripts/deploy/CreateNamenode.sh
6.搭建saltstack master
PS:类似于puppet的服务器管理开源工具，比较轻量，在这里用于管理hadoop集群，调度datanode，关于saltstack的详细请看 SaltStack部署与使用
a.安装
1
yum -y install salt salt-master
b.修改配置文件`/etc/salt/master`,下面标志的是需要修改的项
1
修改监听IP：
2
interface: 0.0.0.0
3
多线程池：
4
worker_threads: 5
5
开启任务缓存：（官方描叙开启缓存能承载5000minion）
6
job_cache
7
开启自动认证：
8
auto_accept: True
c.开启服务
1
/etc/init.d/salt-master start
2
chkconfig salt-master on
7.部署过程中已经把我的sample配置复制过去了，所以只需要修改部分配置文件
a. /etc/hadoop/conf/hdfs-site.xml (其实就是按实际修改主机名地址)
01
02
dfs.namenode.rpc-address.mycluster.ns1
03
nn.dg.hadoop.cn:8020
04
定义ns1的rpc地址
05
06
07
dfs.namenode.rpc-address.mycluster.ns2
08
nn2.dg.hadoop.cn:8020
09
定义ns2的rpc地址
10
11
12
ha.zookeeper.quorum
13
dn100.dg.hadoop.cn:2181,dn101.dg.hadoop.cn:2181,dn102.dg.hadoop.cn:2181,
14
指定用于HA的ZooKeeper集群机器列表
15
b. mapred-site.xml
1
2
mapreduce.jobhistory.address
3
nn.dg.hadoop.cn:10020
4
5
6
mapreduce.jobhistory.webapp.address
7
nn.dg.hadoop.cn:19888
8
c. yarn-site.xml
01
02
yarn.resourcemanager.resource-tracker.address
03
nn.dg.hadoop.cn:8031
04
05
06
yarn.resourcemanager.address
07
nn.dg.hadoop.cn:8032
08
09
10
yarn.resourcemanager.scheduler.address
11
nn.dg.hadoop.cn:8030
12
13
14
yarn.resourcemanager.admin.address
15
nn.dg.hadoop.cn:8033
16
三、Hadoop Namenode & resourcemanager 备服务器 环境部署
1.登录192.168.1.2，创建脚本目录，从主服务器把脚本同步过来
1
/etc/init.d/iptables stop
2
mkdir –p /opt/hadoop_scripts
3
rsync –avz 192.168.1.1::hadoop_s /opt/hadoop_scripts
2.执行部署脚本CreateNamenode.sh
1
sh /opt/hadoop_scripts/deploy/CreateNamenode.sh
3.同步hadoop配置文件
1
rsync –avz 192.168.1.1::hadoop_conf /etc/hadoop/conf
4.部署saltstack客户端
1
sh /opt/hadoop_scripts/deploy/salt_minion.sh
四、zookeeper服务器集群部署
zookeeper是一个开源分布式服务，在这里