设为首页 加入收藏

TOP

Win10系统安装和配置Hadoop2.5.2+Hbase1.2.0
2019-02-22 00:39:14 】 浏览:123
Tags:Win10 系统 安装 配置 Hadoop2.5.2 Hbase1.2.0

由于工作需要,最近开始学习和使用hadoop+hbase来管理数据。在各大网站和论坛查找了相应的方式以后,最终在系统中搭建好了环境,以下是具体的安装配置方式:

一.安装Hadoop2.5.2

1. 安装jdk,我用的是jdk1.7.0_80,可以从官网上下载(安装所涉及到的文件可以自行在百度搜索下载,文章末尾我也会附上下载链接,后面不在说明)步骤:

下载好jdk,点击安装,安装到想要安装的文件夹后,开始配置环境变量:

右键"我的电脑"-->"属性"-->"高级设置"-->"高级"-->"环境变量",

在系统变量中点新建:变量名为JAVA_HOME,变量值为你的jdk安装位置(我的是E:\Java\jdk1.7.0_80),然后点击确定即可:


然后选中系统变量的path,点编辑,新建一个%JAVA_HOME%\bin 和 %JAVA_HOME%\jre\bin:


最后新建一个系统变量为:CLASSPATH ,变量值为(.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar)(注意括号内的内容不能出错)


这样就初步完成了jdk的安装和配置,安装好后可以测试一下,在命令提示符中输入:java -version,回车后如果出现版本提示则安装成功:



2. 下载hadoop2.5.2.tar.gz,下载完成后解压到电脑相应的文件夹目录下,注意用winrar解压的时候一定要以管理员的方式进入,否则会报错,下面是我的解压目录:D:\hdbs\hadoop-2.5.2


3. 配置环境变量:

右键"我的电脑"-->"属性"-->"高级设置"-->"高级"-->"环境变量",

在用户变量中点新建:变量名为HADOOP_HOME,变量值为你刚才hadoop的解压位置(我的是F:\hdbs\hadoop-2.5.2),然后点击确定即可:


接着编辑系统变量的path,将hadoop的bin目录加入到后面;


4. 修改Hadoop的配置文件,总共有五个地方需要修改:

编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”下的core-site.xml文件,将下列文本粘贴进去,并保存;

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/F:/hdbs/hadoop-2.5.2/workplace/tmp</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/F:/hdbs/hadoop-2.5.2/workplace/name</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”目录下的yarn-site.xml文件,将下列文本粘贴进去,并保存

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”目录下的mapred-site.xml文件,将下列文本粘贴进去,并保存;(如果不存在mapred-site.xml就将mapred-site.xml.template重命名为mapred-site.xml)

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>hdfs://localhost:9001</value>

</property>

</configuration>

编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”目录下的hdfs-site.xml文件,将下列文本粘贴进去,并保存。(下面配置文件用到的data目录需要自己创建,我的创建目录是:F:\dev\hadoop-2.5.2\workplace\data)

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/F:/hdbs/hadoop-2.5.2/workplace/data</value>

</property>

</configuration>

编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME=%JAVA_HOME%用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存;

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\java\jdk

5.下载hadooponwindows-master.zip,解压,将bin目录下的hadoop.dll,hdfs.dll,winutils.exe替换到Hadoop中bin目录下;

到这已经差不多配置好了hadoop的基本环境,下面开始运行测试:

首先打开cmd窗口,输入“hdfs namenode -format”并回车;(这是hadoop集群格式化namenode,第一次格式化的时候没问题,当你第二次格式化的时候会有一个提示信息,到时候输入y然后回车即可)

然后切换到hadoop的sbin目录下,输入“start-all.cmd”并回车:


成功后会启动如下的进程:


如果没报错的话,那hadoop服务就已经搭建完毕了。

二.安装Hbase1.2.0

1. 首先下载hadoop1.2.0,解压到刚才的hdbs目录下,然后在hbase的conf文件夹下打开hbase-site.xml并配置:

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
</configuration>

2.在hbase的conf文件夹下打开hbase-env.sh并在最末尾加上以下内容

export JAVA_HOME=E:\Java\jdk1.7.0_80

export HBASE_CLASSPATH=F:\hdbs\hbase-1.2.0

这两步配置好以后就可以启动hbase了,注意:必须先启动hadoop才能启动hbase,启动步骤如下

运行cmd窗口,执行:hdfs namenode -format,回车

输入:“f:”,回车

输入:“cd F:\hdbs\hadoop-2.5.2\sbin”,回车

输入:“start-all.cmd”,回车(hadoop启动完毕)

输入:“c:”,回车

输入:“cd F:\hdbs\hbase-1.2.0\bin”,回车

输入:“F:”,回车(进入F:\dev\hbase-1.2.0\bin目录的运行环境下)

输入:“start-hbase.cmd”,回车(启动hbase)。

启动完毕后,如果没报错,那恭喜你,hadoop+hbase的环境就彻底搭建成功了。

注意:关闭的时候先关闭hbase,再关闭hadoop:

切换到hbase的bin目录下运行cmd,输入stop-hbase.cmd关闭hbase,

然后切换到hadoop的sbin目录下,运行cmd,输入stop-all.cmd关闭hadoop。

以上搭建环境所需要的文件下载地址如下:

链接: https://pan.baidu.com/s/1ynTM5UiO8pKGxvqhU6actg 密码: wh5u





】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hadoop 压缩 gzip biz2 lzo snappy 下一篇hadoop中用javaAPI读写数据

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目