设为首页 加入收藏

TOP

VMware ubuntu12.10上伪分布式安装hadoop0.20.2
2018-11-13 14:33:18 】 浏览:77
Tags:VMware ubuntu12.10 分布式 安装 hadoop0.20.2

写在前面的:

hadoop分为三种安装模式

1)单机模式安装

2)伪分布式安装

3)完全分布式安装

使用的linux系统的用户需要放到用户组里

$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hadoop

更改hadoop安装文件所属的用户以及组

$ sudo chown -R hadoop:hadoop hadoop

所有的操作都是已hadoop来完成的(以防文件权限的问题)

注意虚拟机最好有一个静态的ip这样方便与windows下的开发环境连接hadoop 以及 hbase

使用者可以根据目的选择不同的安装模式

抱着学习的目的我选择了伪分布式安装

下面是一些安装的步骤:

1.安装JDK
  1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装
JDK
   sudo apt-get install sun-java6-jdk

或者使用下载好的安装包进行安装

eg:

下载的安装包

解压缩

  2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容

   export JAVA_HOME = (Jdk安装目录)
export CLASSPATH =".:$JAVA_HOME/lib:$CLASSPATH"
   export PATH = "$JAVA_HOME/:PATH"


  3)验证Java是否安装成功
   输入 java -version ,输出Java版本信息即为安装成功。

2.安装配置SSH

  1)下载安装SSH:同样在命令行输入下面命令安装SSH
  
sudo apt-get install ssh
  2)配置无密码登录本机:在命令行输入下面两条命令

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
直接回车,完成后会在~/.ssh/生成两个文件:id_rsa和id_rsa.pub;这两个成对出现,类似钥匙和锁。

再把id_rsa.pub追加到授权key里面(当前并没有authorized_keys文件)
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3
)验证SSH是否安装成功

输入 ssh localhost 。如果显示本机登录成功就表明安装成功。

3.hadoop0.20.2安装

1)下载安装包

2)解压安装文件

3)配置计算机hadoop环境:打开/etc/profile,在文件最后输入下面内容

4)配置core-site.xml

5)配置hdfs-site.xml

6)配置hadoop-env.sh

7)配置mapred-site.xml

8)masters,slaves都填写成机器名称

9)格式化文件系统

bin/hadoop namenode -format

10)启动文件系统

bin/start-all.sh

11)文件系统启动成功后访问 http://ubuntu:50070/【ubuntu机器名称可以用ip代替】

12)访问http://ubuntu:50030

写在结束:

上述安装是hadoop的最基本的安装,在生产环境下还需要各方面的配置,需要了解hadoop更多的知识。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop安装教程_单机/伪分布式配置 下一篇学习笔记_Hadoop入门

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目