Spark SQL下的Parquet使用最佳实践和代码实战
1、Spark SQL下的Parquet使用最佳实践
2、Spark SQL下的Parquet实战
一、Spark SQL下的Parquet使用最佳实践
1、过去整个业界对大数据分析的技术栈的Pipeline一般分为以下两种方式
a)Data Source -> HDFS -> MR/Hive/Spark(相当于ETL) -> HDFS Parquet -> Spark SQL/Impala -> Result Service(可以放在DB中,也有可能被通过JDBC/ODBC来作为数据服务使用)
b)Data Source -> Real time update data to HBase/DB -> Export to Parquet -> Spark SQL/Impala -> Result Service(可以放在DB中,也有可能被通过JDBC/ODBC来作为数据服务使用)
上述的第二种方式完全可以通过Kafka+Spark Streaming+Spark SQL(内部也强烈建议采用Parquet的方式来存储数据)的方式取代
期待的方式:
Data Source -> Kafka -> Spark Streaming -> Parquet -> Spark SQL(ML、GraphX等) -> Parquet -> 其它各种Data Mining等
二、Parquet的精要介绍
1、Parquet是面向列的列式存储格式的一种文件类型,列式存储有以下的核心优势:
a)可以跳过不符合条件的数据,只读取需要的数据,降低ID数据量。
b)压缩编码可以降低磁盘存储空间,由于同一列的数据类型是一样的,可以使用更高效的压缩编码(例如Run Length Encoding和Delta Encoding)进一步节约存储空间。
c)只读取需要的列,支持向量运算,能够获取更好的扫描性能。
parquet可以根据目录的元数据自动进行聚合