Hadoop1.0.4集群安装(二)

2014-11-24 15:55:05 · 作者: · 浏览: 2
echo "123456" | sudo -S chkconfig ip6tables off
echo "123456" | sudo -S chkconfig irda off
echo "123456" | sudo -S chkconfig isdn off
echo "123456" | sudo -S chkconfig kudzu off
echo "123456" | sudo -S chkconfig lm_sensors off
echo "123456" | sudo -S chkconfig mdmonitor off
echo "123456" | sudo -S chkconfig pcscd off
5.3 通过SecureFX将一些必要的软件copy到虚拟机里 --这里主要是hadoop软件
5.4 关闭虚拟机
5.5 将虚拟机的镜像文件copy成2个副本,一共3个虚拟机
注意:如果你的本本硬盘空间和物理内存都比较充裕的话可以多建立一些节点
5.6 一个虚拟机副本copy完并启动之后,vmware会重新给其网卡分配一个mac地址,所以需要修改mac地址,IP也要改
5.6.1 ifconfig 查看本机eth0网卡的IP和mac地址
5.6.2 编辑/etc/sysconfig/network-scripts/ifcfg-eth0,修改mac地址和IP地址
5.7 重启网卡
sudo service network restart
5.8 编辑/etc/sysconfig/network机器名
5.9 重启
注:其他节点也类似就不一一详述
六 hadoop1.0.4部署流程
6.1 启动集群master,slave1,slave2
6.2 实现SSH无密码登陆
6.2.1 实现无密码本机登录master
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
直接回车,完成后会在 ~/.ssh/ 生成两个文件: id_dsa 和 id_dsa.pub 。这两个是成对出现,类似钥匙和锁。
再把 id_dsa.pub 追加到授权 key 里面 ( 当前并没有 authorized_key s文件 ) :
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
实验:ssh localhost hostname
还是要输入密码,一般这种情况都是因为目录或文件的权限问题,看看系统日志,确实是权限问题,
.ssh下的authorized_keys权限为600,其父目录和祖父目录应为755,
查看系统日志:sudo tail /var/log/secure -n 20
解决方法为:chmod 755 .
chmod 755 .ssh
chmod 600 .ssh/authorized_keys
在其他机器上同样操作
6.2.2 实现无密码登录其他机器
把 slave1和slave2里的id_dsa.pub都追加到授权 key 里面
ssh slave1 cat /home/elvis/.ssh/id_dsa.pub >> .ssh/authorized_keys
将各节点authorized_keys文件合并并覆盖至每个节点
scp authorized_keys slave1:/home/elvis/.ssh/authorized_keys
做技术就是谨慎,还是在全面检验一遍:ssh 192.168.201.12 hostname
(每个节点上都需要验证)
6.3 修改/usr/local目录的权限,命令:sudo chmod 777 /usr/local/
将hadoop的tar包copy到/usr/local/下
(master节点)copy到这个目录下并且解压
6.4 查看 cat /etc/hosts
192.168.201.11 master
192.168.201.12 slave1
192.168.201.13 slave2
6.5 配置 conf/masters 和 conf/slaves
在hadoop文件目录里
conf/masters
192.168.201.11
conf/slaves
192.168.201.12
192.168.201.13
6.6 配置 conf/hadoop-env.sh
加入
export JAVA_HOME=/home/elvis/soft/jdk1.7.0_17
6.7 配置 conf/core-site.xml
加入
fs.default.name
hdfs://192.168.201.11:9000
6.8 配置 conf/hdfs-site.xml
加入
dfs.http.address
192.168.201.11:50070
dfs.name.dir
/usr/local/hadoop/namenode
dfs.data.dir
/usr/local/hadoop/data
dfs.replication
2
6.9 配置conf/mapred-site.xml
加入
mapred.job.tracker
192.168.201.11:8012
6.10 建立相关的目录
/usr/local/hadoop/ //hadoop数据和namenode目录
6.11 建立相关的目录其他的几个节点也是同样
6.12 将hadoop文件远程copy到其他节点(这样前面的配置就都映射到了其他节点上),
命令为:scp -r hadoop-x.xx.x 192.168.201.22:/usr/local/
6.13 格式化Active master(192.168.201.11)
命令:bin/hadoop nameno