Hive详细教程

2014-11-24 17:24:52 · 作者: · 浏览: 0

为什么选择Hive?


Hive的安装


1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。


本质上讲,hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。


hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。


这套映射工具称之为metastore,一般存放在derby、mysql中。


相关阅读


1.2 hive在hdfs中的默认位置是/user/hive/warehouse,是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。


2.hive的安装


(1)解压缩、重命名、设置环境变量


(2)在目录$HIVE_HOME/conf/下,执行命令mv hive-default.xml.template hive-site.xml重命名


在目录$HIVE_HOME/conf/下,执行命令mv hive-env.sh.template hive-env.sh重命名


(3)修改hadoop的配置文件hadoop-env.sh,修改内容如下:


export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin


(4)在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,增加以下内容:


export JAVA_HOME=/usr/local/jdk


export HIVE_HOME=/usr/local/hive


export HADOOP_HOME=/usr/local/hadoop


3.安装mysql


(1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps


执行命令rpm -qa |grep mysql 检查是否删除干净


(2)执行命令 rpm -i mysql-server-******** 安装mysql服务端


(3)启动mysql 服务端,执行命令 mysqld_safe &


(4)执行命令 rpm -i mysql-client-******** 安装mysql客户端


(5)执行命令mysql_secure_installation设置root用户密码


4. 使用mysql作为hive的metastore


(1)把mysql的jdbc驱动放置到hive的lib目录下


(2)修改hive-site.xml文件,修改内容如下:



javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop0:3306/hive createDatabaseIfNotExist=true


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver


javax.jdo.option.ConnectionUserName
root


javax.jdo.option.ConnectionPassword
admin



用户接口,包括 CLI,JDBC/ODBC,WebUI
元数据存储,通常是存储在关系数据库如 mysql, derby 中
解释器、编译器、优化器、执行器
Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算