由于工作需要,最近开始学习和使用hadoop+hbase来管理数据。在各大网站和论坛查找了相应的方式以后,最终在系统中搭建好了环境,以下是具体的安装配置方式:
一.安装Hadoop2.5.2
1. 安装jdk,我用的是jdk1.7.0_80,可以从官网上下载(安装所涉及到的文件可以自行在百度搜索下载,文章末尾我也会附上下载链接,后面不在说明),步骤:
下载好jdk,点击安装,安装到想要安装的文件夹后,开始配置环境变量:
右键"我的电脑"-->"属性"-->"高级设置"-->"高级"-->"环境变量",
在系统变量中点新建:变量名为JAVA_HOME,变量值为你的jdk安装位置(我的是E:\Java\jdk1.7.0_80),然后点击确定即可:
然后选中系统变量的path,点编辑,新建一个%JAVA_HOME%\bin 和 %JAVA_HOME%\jre\bin:
最后新建一个系统变量为:CLASSPATH ,变量值为(.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar)(注意括号内的内容不能出错)
这样就初步完成了jdk的安装和配置,安装好后可以测试一下,在命令提示符中输入:java -version,回车后如果出现版本提示则安装成功:
2. 下载hadoop2.5.2.tar.gz,下载完成后解压到电脑相应的文件夹目录下,注意用winrar解压的时候一定要以管理员的方式进入,否则会报错,下面是我的解压目录:D:\hdbs\hadoop-2.5.2
3. 配置环境变量:
右键"我的电脑"-->"属性"-->"高级设置"-->"高级"-->"环境变量",
在用户变量中点新建:变量名为HADOOP_HOME,变量值为你刚才hadoop的解压位置(我的是F:\hdbs\hadoop-2.5.2),然后点击确定即可:
接着编辑系统变量的path,将hadoop的bin目录加入到后面;
4. 修改Hadoop的配置文件,总共有五个地方需要修改:
①编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”下的core-site.xml文件,将下列文本粘贴进去,并保存;
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/F:/hdbs/hadoop-2.5.2/workplace/tmp</value> </property> <property> <name>dfs.name.dir</name> <value>/F:/hdbs/hadoop-2.5.2/workplace/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> |
②编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”目录下的yarn-site.xml文件,将下列文本粘贴进去,并保存;
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> |
③编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”目录下的mapred-site.xml文件,将下列文本粘贴进去,并保存;(如果不存在mapred-site.xml就将mapred-site.xml.template重命名为mapred-site.xml)
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker</name> <value>hdfs://localhost:9001</value> </property> </configuration> |
④编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”目录下的hdfs-site.xml文件,将下列文本粘贴进去,并保存。(下面配置文件用到的data目录需要自己创建,我的创建目录是:F:\dev\hadoop-2.5.2\workplace\data)
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.data.dir</name> <value>/F:/hdbs/hadoop-2.5.2/workplace/data</value> </property> </configuration> |
⑤编辑“F:\hdbs\hadoop-2.5.2\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME=%JAVA_HOME%用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存;
@rem set JAVA_HOME=%JAVA_HOME% set JAVA_HOME=D:\java\jdk |
5.下载hadooponwindows-master.zip,解压,将bin目录下的hadoop.dll,hdfs.dll,winutils.exe替换到Hadoop中bin目录下;
到这已经差不多配置好了hadoop的基本环境,下面开始运行测试:
首先打开cmd窗口,输入“hdfs namenode -format”并回车;(这是hadoop集群格式化namenode,第一次格式化的时候没问题,当你第二次格式化的时候会有一个提示信息,到时候输入y然后回车即可)
然后切换到hadoop的sbin目录下,输入“start-all.cmd”并回车:
成功后会启动如下的进程:
如果没报错的话,那hadoop服务就已经搭建完毕了。
二.安装Hbase1.2.0
1. 首先下载hadoop1.2.0,解压到刚才的hdbs目录下,然后在hbase的conf文件夹下打开hbase-site.xml并配置:
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.master.info.port</name> <value>60010</value> </property> </configuration> |
2.在hbase的conf文件夹下打开hbase-env.sh并在最末尾加上以下内容:
export JAVA_HOME=E:\Java\jdk1.7.0_80 export HBASE_CLASSPATH=F:\hdbs\hbase-1.2.0 |
这两步配置好以后就可以启动hbase了,注意:必须先启动hadoop才能启动hbase,启动步骤如下:
运行cmd窗口,执行:hdfs namenode -format,回车
输入:“f:”,回车
输入:“cd F:\hdbs\hadoop-2.5.2\sbin”,回车
输入:“start-all.cmd”,回车(hadoop启动完毕)
输入:“c:”,回车
输入:“cd F:\hdbs\hbase-1.2.0\bin”,回车
输入:“F:”,回车(进入F:\dev\hbase-1.2.0\bin目录的运行环境下)
输入:“start-hbase.cmd”,回车(启动hbase)。
启动完毕后,如果没报错,那恭喜你,hadoop+hbase的环境就彻底搭建成功了。
注意:关闭的时候先关闭hbase,再关闭hadoop:
切换到hbase的bin目录下运行cmd,输入stop-hbase.cmd关闭hbase,
然后切换到hadoop的sbin目录下,运行cmd,输入stop-all.cmd关闭hadoop。
以上搭建环境所需要的文件下载地址如下:
链接: https://pan.baidu.com/s/1ynTM5UiO8pKGxvqhU6actg 密码: wh5u