写在前面的:
hadoop分为三种安装模式
1)单机模式安装
2)伪分布式安装
3)完全分布式安装
使用的linux系统的用户需要放到用户组里
$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hadoop
更改hadoop安装文件所属的用户以及组
$ sudo chown -R hadoop:hadoop hadoop
所有的操作都是已hadoop来完成的(以防文件权限的问题)
注意虚拟机最好有一个静态的ip这样方便与windows下的开发环境连接hadoop 以及 hbase
使用者可以根据目的选择不同的安装模式
抱着学习的目的我选择了伪分布式安装
下面是一些安装的步骤:
1.安装JDK
1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDK
sudo apt-get install sun-java6-jdk
或者使用下载好的安装包进行安装
eg:
下载的安装包
解压缩
2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容
export JAVA_HOME = (Jdk安装目录)
export CLASSPATH =".:$JAVA_HOME/lib:$CLASSPATH"
export PATH = "$JAVA_HOME/:PATH"
3)验证Java是否安装成功
输入 java -version ,输出Java版本信息即为安装成功。
2.安装配置SSH
1)下载安装SSH:同样在命令行输入下面命令安装SSH
sudo apt-get install ssh
2)配置无密码登录本机:在命令行输入下面两条命令
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
直接回车,完成后会在~/.ssh/生成两个文件:id_rsa和id_rsa.pub;这两个成对出现,类似钥匙和锁。
再把id_rsa.pub追加到授权key里面(当前并没有authorized_keys文件)
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3)验证SSH是否安装成功
输入 ssh localhost 。如果显示本机登录成功就表明安装成功。
3.hadoop0.20.2安装
1)下载安装包
2)解压安装文件
3)配置计算机hadoop环境:打开/etc/profile,在文件最后输入下面内容
4)配置core-site.xml
5)配置hdfs-site.xml
6)配置hadoop-env.sh
7)配置mapred-site.xml
8)masters,slaves都填写成机器名称
9)格式化文件系统
bin/hadoop namenode -format
10)启动文件系统
bin/start-all.sh
11)文件系统启动成功后访问 http://ubuntu:50070/【ubuntu机器名称可以用ip代替】
12)访问http://ubuntu:50030
写在结束:
上述安装是hadoop的最基本的安装,在生产环境下还需要各方面的配置,需要了解hadoop更多的知识。