设为首页 加入收藏

TOP

MAC上配置haddop+Hbase开发环境
2018-11-28 17:37:39 】 浏览:233
Tags:MAC 配置 haddop Hbase 开发 环境
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/happymonica11/article/details/79641278

写在前面:

这里需要知道的是,我们想要使用Hbase,那么就一定要先安装hadoop,同时我们需要保证我们的电脑上存在JDK,一般情况下建议大家安装jdk1.7 或 jdk1.8

1.安装jdk1.7或jdk1.8

因为本机已经安装了jdk1.8,所以这里不再赘述。

这里建议:

修改主机名为localhost:>sudo scutil --set HostName localhost

2. 配置ssh连接

配置ssh连接主要是保证命令 >ssh localhost 可以免密码正常登陆

具体配置方法:

(1)ssh-keygen -t rsa (一路回车直到完成)

(2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

(3)chmod og-wx ~/.ssh/authorized_keys

然后重启终端,在命令行下输入>ssh localhost 如果不需要输密码即可进入,证明设置成功。

如果仍需要输入密码,那可能是文件权限的问题,尝试执行 >chmod 755 ~/.ssh

3.安装hadoop

(1)通过brew安装hadoop:

>brew install hadoop

(2)进入hadoop的安装目录 (我这里安装的是3.0.0 大家根据对应版本该路径哈)

>cd /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop

(3)修改core-site.xml文件

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>

</configuration>

(4)修改hdfs-site.xml

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp/dfs/data</value>
</property>

</configuration>

(5) 添加环境变量 在 ~/.bash_profile 文件中

>vi~/.bash_profile

export HADOOP_HOME=/usr/local/Cellar/hadoop/2.7.3/libexec

export PATH=$PATH:${HADOOP_HOME}/bin

(6)使环境变量生效

>source~/.bash_profile

(7)格式化HDFS

>cd /usr/local/Cellar/hadoop/3.0.0/bin

>./hdfs namenode -format

到这里hadoop都已经配置完成了,可以开始启动hadoop了

--hadoop启动方法:

>cd /usr/local/Cellar/hadoop/3.0.0/sbin

>./start-dfs.sh

>jps

如果jps出现如下的信息,则证明启动成功:

1206 DataNode

1114 NameNode

1323 SecondaryNameNode


4.安装Hbase

(1)采用brew的方式安装hbase:

>brew install hbase

(2) 修改hbase-env.sh文件: (这里我安装的是hbase 1.2.6)

>~/.bash_profile

export HBASE_CLASSPATH=/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop
export HBASE_MANAGES_ZK=true
export HBASE_HOME=/usr/local/Cellar/hbase/1.2.6/libexec
export HBASE_LOG_DIR=${HBASE_HOME}/logs

export HBASE_REGIONSERVERS=${HBASE_HOME}/conf/regionservers

(3)修改hbase-site.xml

>cd/usr/local/Cellar/hbase/1.2.6

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

(4)在regionservers文件中添加

localhost

(5)在~/.bash_profile 文件中添加:

>vi~/.bash_profile

export HBASE_HOME=/usr/local/Cellar/hbase/1.2.6/libexec

export PATH=$PATH:${HBASE_HOME}/bin

(6)使改变生效:

>source~/.bash_profile

到这里hbase已经成功安装完成了

--hbase启动方法:

>cd /usr/local/Cellar/hbase/1.2.6/bin
>./start-hbase.sh
>jps (查看启动的服务)

如果出现如下信息,则证明启动成功:

30465 HRegionServer
30354 HMaster
1605 HQuorumPeer
1206 DataNode
30534 Jps
1114 NameNode

1323 SecondaryNameNode


现在我们就可以愉快的进行hbase的使用了。

这里如果我们要通过python与hbase进行交互,我们可以采用一个happybase的包,来实现连接。


我叫晶心,一个努力进阶的程序媛,希望我们一起学习,共同进步,喜欢我的总结就关注我吧~


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hbase中根据Rowkey后缀进行查询 下一篇使用MapReduce访问HBase三种访问..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目