设为首页 加入收藏

TOP

greenplum对hdfs文件的支持
2019-02-12 00:15:28 】 浏览:21
Tags:greenplum hdfs 文件 支持

greenplum对hdfs文件的支持

greenplum是一个优秀的分布式数据库。其外部表这一特性使其与HDFS有一个好的链接,它与下面将简单介绍一下其对HDFS文件格式的支持。

  1. textFile。

    创建外部表的时候指定format 为TEXT。同时需要指定每一行的分隔符用于分割。如下按\t 分割字符串:

    CREATE EXTERNAL TABLE ext_device_info (offsetid BIGINT, tdid TEXT) LOCATION ('gphdfs://$GPHDFSHOST$:$GPHDFSPORT$/path/part-*') FORMAT 'TEXT' (DELIMITER E'\t'  NULL '') ;

    创建了外部表了之后,我们就可以用于普通的sql语句进行查询。

  2. parquet。

    parquet是HDFS种常见的一种文件类型。GP外部表支持parquet文件。

    使用parquet文件,首先我们需要apache的以下jar包:

    • parquet-hadoop-1.7.0.jar
    • parquet-common-1.7.0.jar
    • parquet-encoding-1.7.0.jar
    • parquet-column-1.7.0.jar
    • parquet-generator-1.7.0.jar
    • parquet-format-2.3.0-incubating.jar

    我们需要将这些jar包放在$HADOOP_HOME/share/hadoop/common/lib目录下,这里注意:我们需要在GP数据库的所有节都需要以上jar包,不只是Master节点。

    准备好这些jar之后,我们就可以建立外部表指定format为parquet,不需要指定任何分隔符。

    对于没有任何嵌套的parquet文件,你不会遇到任何问题,所有的数据都能按照预期正常访问。

    那如果遇到了嵌套的parquet文件会怎样呢?比如下面这个简单的示例:

    root
    |-- a: struct (nullable = true)
    |    |-- a: string (nullable = true)
    |    |-- aName: string (nullable = true)
    |-- bName: string (nullable = true)

    官网是这样说的:When reading Parquet type group, the gphdfs protocol converts the group data into an XML document.也就是说当遇到了上诉a这样的数据,gphdfs协议会将其转换成一个XML类型的数据。

    我们这样建表:

    CREATE EXTERNAL TABLE public.parquetTest5(a text,bname varchar(20))  LOCATION ('gphdfs://ip:8020/tmp/parquetData2/part-*') FORMAT 'PARQUET';

    再查询a字段,我们得到以下结果:

    <a type="group"><a anotation="UTF8" type="binary">a100</a><aName anotation="UTF8" type="binary">aName</aName></a>
    <a type="group"><a anotation="UTF8" type="binary">a101</a><aName anotation="UTF8" type="binary">aName</aName></a>

    通过以上的结果,我们可以看到它将原来parquet文件种的嵌套的字段组成了一个xml,这个xml里面给出了嵌套字段名,属性及值。感觉这并不是我们想要的,但是网上也指出会将其转换成一个xml(http://gpdb.docs.pivotal.io/4390/admin_guide/load/topics/g-hdfs-parquet-format.html) ,这边也尝试了其他的方式,都没有成功。并且只有建表时指定该类型是TEXT的时候才成功。

    那如果我们的parquet有数组呢?那么对数组的这个字段,我们查询会得到以下的结果:

    <a type="group"><list type="repeated"><list type="group"><element anotation="UTF8" type="binary">test1</element></list><list type="group"><element
    anotation="UTF8" type="binary">test2</element></list></list></a>
    
  3. avro。
    GP外部表同时支持avro的数据格式,由于使用场景较少,这里不做描述,参见:http://gpdb.docs.pivotal.io/4390/admin_guide/load/topics/g-hdfs-avro-format.html


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇【喜加一】parquet文件读写(在HD.. 下一篇sqoop   把 hdfs 和关系型数..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }