设为首页 加入收藏

TOP

DataX二次开发——新增HiveReader插件(三)
2023-07-26 08:16:44 】 浏览:67
Tags:DataX 新增 HiveReader 插件
ode { KERBEROS_LOGIN_ERROR(
"HiveReader-13", "KERBEROS认证失败"); private final String code; private final String description; HiveReaderErrorCode(String code, String description) { this.code = code; this.description = description; } @Override public String getCode() { return this.code; } @Override public String getDescription() { return this.description; } @Override public String toString() { return String.format("Code:[%s], Description:[%s]. ", this.code, this.description); } }

2.4 plugin.json文件

{
  "name": "hivereader",
  "class": "com.alibaba.datax.plugin.reader.hivereader.HiveReader",
  "description": "Retrieve data from Hive via jdbc",
  "developer": "wxm"
}

2.5 plugin_job_template.json文件

    这块需要注意的一个问题是,如果Kerberos认证的Hive连接URL有两种方式,如果是基于zookeeper的方式,则需保证运行DataX服务的节点与zookeeper节点网络是打通的,并且一定不要忘记写上具体的Hive库名。

{
  "name": "hivereader",
  "parameter": {
    "column": [
      "*"
    ],
    "username": "hive",
    "password": "",
"preSql":"show databases;", "connection": [ { "jdbcUrl": [ "jdbc:hive2://localhost:10000/default;principal=hive/_HOST@EXAMPLE.COM" ], "table": [ "hive_reader" ] } ], "where": "logdate='20211013'" , "haveKerberos": true, "kerberosKeytabFilePath": "/etc/security/keytabs/hive.headless.keytab", "kerberosPrincipal": "hive@EXAMPLE.COM" } }

 

首页 上一页 1 2 3 下一页 尾页 3/3/3
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Java常用类之String源码分析 下一篇我是如何用CAP和BASE两个基础理论..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目