设为首页 加入收藏

TOP

大数据笔记-Hive
2018-11-13 14:45:16 】 浏览:48
Tags:数据 笔记 -Hive
版权声明:本BLOG上原创文章未经本人许可,不得用于商业用途及传统媒体。网络媒体转载请注明出处,否则属于侵权行为。 https://blog.csdn.net/haobindayi/article/details/82948046

操作Hive需要启动的应用:
前提:启动zookeeper集群
i)Hadoop集群要启动
ii)mysql数据库服务器启动
iii)启动Hive服务器
下面介绍Hive的安装
~~>Hive的安装:
1°、解压Hive文件:
重命名,配置环境变量/etc/profile.d/bigdata.sh

  export HIVE_HOME=/opt/hive
 export PATH=$PATH:$HIVE_HOME/bin

 source /etc/profile.d/bigdata.sh

进入$HIVE_HOME/conf/修改文件

  cp hive-env.sh.template hive-env.sh
  cp hive-default.xml.template hive-site.xml

2°、修改$HIVE_HOME/conf的hive-env.sh,增加以下三行
(只要在bigdata.sh脚本文件中配置了如下环境变量:JAVA_HOME、HADOOP_HOME、HIVE_HOME,那么,hive-env.sh不用修改)

   export JAVA_HOME=/opt/jdk
   export HADOOP_HOME=/opt/hadoop
   export HIVE_HOME=/opt/hive

3°、修改$HIVE_HOME/conf/hive-site.xml

<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:mysql://LENOVO01:3306/hivecreateDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
  </property>
  <property>
   <name>javax.jdo.option.ConnectionDriverName</name>
   <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
   <name>javax.jdo.option.ConnectionUserName</name>
   <value>root</value>
  </property>
  <property>
   <name>javax.jdo.option.ConnectionPassword</name>
   <value>88888888</value>
  </property>
  <property>
   <name>hive.querylog.location</name>
   <value>/opt/hive/tmp</value>
  </property>
  <property>
   <name>hive.exec.local.scratchdir</name>
   <value>/opt/hive/tmp</value>
  </property>
  <property>
   <name>hive.downloaded.resources.dir</name>
   <value>/opt/hive/tmp</value>
  </property>

4°、初始化hive元数据仓库
前提:将Mysql驱动包拷贝到lib目录下 (hive客户端会同时连接mysql数据库和HDFS)
xx]# schematool -initSchema -dbType mysql -userName root -passWord root
可以简写为:schematool -initSchema -dbType mysql
5°、启动hive
hive

如何验证安装成功?

[root@LENOVO01 hive]# schematool -initSchema -dbType mysql
   which: no hbase in (/root/soft/go/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/jdk/bin:/opt/hadoop/bin:/opt/hadoop/sbin:/opt/zookeeper/bin:/usr/local/software/jdk/bin:/root/bin:/opt/jdk/bin:/opt/hadoop/bin:/opt/hadoop/sbin:/opt/zookeeper/bin:/opt/hive/bin)
   SLF4J: Class path contains multiple SLF4J bindings.
   SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
   SLF4J: Found binding in [jar:file:/opt/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
   SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
   SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
   Metastore connection URL:  jdbc:mysql://LENOVO01:3306/hivecreateDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8
   Metastore Connection Driver :  com.mysql.jdbc.Driver
   Metastore connection User:  root
   Starting metastore schema initialization to 2.1.0
   Initialization script hive-schema-2.1.0.mysql.sql
   Initialization script completed
   schemaTool completed
   
   hive>


主题:Hive的操作:
Hive的表的操作:
hive中没有主键,没有外键的定义,但是我们可以参照mysql表的定义来进行说明
create table t (
line string
);
加载数据(linux本地相应目录中的数据):
//load data local inpath '' into table mydb1.t;
load data local inpath '/opt/data/hive/hive-t.txt' into table mydb1.t;

set hive.cli.print.header=true;显示表头信息 注意:
关于中文乱码的解决:

给linux安装中文语言包,相关配置如下:

 yum install fonts-chinese.noarch
     yum install m17n-db-common-cjk
     yum install m17n-db-chinese
    
    ( 或者:yum groupinstall chinese-support)

     vi /etc/sysconfig/i18n将内容改为
     LANG="zh_CN.utf8"LANGUAGE="zh_CN.utf8:zh_CN.GB2312:zh_CN"SUPPORTED="zh_CN.utf8:zh_CN:zh:en_US.UTF-8:en_US:en"SYSFONT="lat0-sun16"

安装上面的几个语言包重启就正常

1、确保Linux客户端软件没有乱码
如:Xshell
设定方式:文件~>属性~>终端

2、hive-site.xml中的配置:

<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://LENOVO01:3306/hivecreateDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
</property>

3、进入数据库 Metastore 中执行以下 5 条 SQL 语句
-- ①修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

-- ② 修改分区字段注解:
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

-- ③修改索引注解:
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇黑猴子的家:重新编译hive/lib/hi.. 下一篇3.配置hive环境

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目