设为首页 加入收藏

TOP

HBase学习之路——HBase Windows环境单机安装
2019-03-09 13:45:28 】 浏览:356
Tags:HBase 习之 Windows 环境 单机 安装

一、HBase简介

HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。

HBase是Apache的Hadoop项目的子项目,HBase不同与一般的关系数据库,它适合于结构化数据存储的数据库,且HBase基于列而非基于行的模式。

HBase——Hadoop Database,分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce处理HBase的海量数据,利用Zookeeper作为协同服务。

HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供高性能的计算能力,Zookeeper为HBase提供稳定服务和failover机制。Pig和Hive为HBase提供高层语言支持,是的在HBase上进行数据统计处理变简单。Sqoop为HBase提供方便的RDBMS数据导入功能,使传统数据库数据向HBase选中前移变方便。

注:HDFS即Hadoop分布式文件系统,Zookeeper即分布式应用程序协调服务,Sqoop即一个用于在Hadoop和传统数据库间数据传递的开源工具,Hive即基于Hadoop的数据仓库工具,适合数据仓库的统计分析,Pig即一种数据流语言和运行环境,用于检索非常大的数据集

注:failover为容错机制,失败自动切换,即当出现失败,重试其他服务器,通常用于读操作。重试会带来更长延迟。

常见容错机制:failover,failsafe(失败安全,即出现异常直接忽略,通常用于写入审计日志操作。可用于生产环境Monitor),failfalse(快速失败,即只发起一次调用,失败立即报错,通常用于非幂等性的写操作。若机器正在重启可能出现调用失败),forking(并行调用多个服务器,即只要一个成功即返回,通常用于实时性要求较高的读操作,需浪费较多服务资源),failback(失败自动恢复,即后台记录失败请求,定时重发,通常用于消息通知操作。可用于生产环境Registry)

HBase中的所有数据文件都存储在Hadoop HDFS文件系统上,主要包括HFile和HLog File。

二、安装准备

  • Hadoop2.8.3

  • winutils-master-hadoop2.8.3 HBase本身不支持Windows环境,但是有第三方插件提供支持

  • jdk1.8

  • HBase2.0.0

  • jline-2.12.jar

三、单机部署

  1. 完成jdk的配置,配置成功条件cmd输出java -version显示jdk版本。具体步骤自行百度

  2. 解压hadoop压缩包,具体配置更改自行百度,在windows环境下部署需要将winutils-master对应的hadoop版本的bin复制到解压好的hadoop目录下覆盖即可

  3. 修改HBase下的conf/hbase-env.cmd

    • set JAVA_HOME=F:\java\jdk

    • set HBASE_MANAGES_ZK=true

    注:具体地址有自己电脑jdk的安装目录决定

  4. 修改HBase下的conf/hbase-site.xml

      
      <configuration>
          <property>  
              <name>hbase.rootdir</name>  
              <value>file:///E:/hbase-2.0.0/tmp/hbase/root</value>  
          </property>  
          <property>  
              <name>hbase.tmp.dir</name>  
              <value>E:/hbase-2.0.0/tmp/hbase/tmp</value>  
          </property>  
          <property>  
              <name>hbase.zookeeper.quorum</name>  
              <value>127.0.0.1</value>  
          </property>  
          <property>  
              <name>hbase.zookeeper.property.dataDir</name>  
              <value>E:/hbase-2.0.0/tmp/hbase/zoo</value>  
          </property>  
          <property>  
              <name>hbase.cluster.distributed</name>  
              <value>false</value>  
          </property>
      </configuration>

四、部署测试

4.1 单机部署测试

  1. 启动HBase

    cmd cd进入hbase/bin,输入start-hbase.cmd,启动HBase,或者直接双击start-hbase.cmd启动。

  2. 测试Shell

    在cmd中进入hbase\bin,输入hbase shell测试 如果显示jline的错误,需要将hive中的jline.jar包导入hadoop的share/hadoop/yarn/lib中 注:jline是用来处理控制台输入的

  3. 打开Hbase主页,正常打开即为部署成功,网址为http://127.0.0.1:16010/master-status

到此,HBase单机安装部署完成。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇HBase 学习之路二(高级编程) 下一篇Spark 操作Hbase 对表的操作:..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目