HBase Ganos介绍
HBase Ganos是什么
HBase Ganos是阿里云推出的一款包含管理「空间几何数据」、「时空轨迹」、「专题栅格」、「遥感影像」的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合阿里云HBase强大的分布式存储能力以及Spark分析平台能力,可广泛应用于空间/时空/遥感大数据存储、查询、分析与数据挖掘场景。
HBase Ganos功能
2.0 版本
- 提供时空几何能力
- 支持空间几何、时空轨迹的数据表达和建模;
- 时空几何对象的创建、写入、索引、查询、删除等管理能力;
- 支持与Spark的集成分析,提供兼容OGC标准的GeoSQL访问;
- 支持基于SDK和RestAPI两种开发方式。
- 支持HBase 1.x版本
2.5 版本
- 兼容2.0版本时空几何的所有功能,并提供了时空栅格能力
- 提供栅格数据的快速ETL入库(分块、金字塔以及时间维度索引)能力,提供原生的Spark处理库
- 提供栅格数据库的时空查询REST接口
- 支持WMS/WMTS等服务,提供原生的GeoServer插件
- 支持HBase 2.x版本
HBase Ganos应用场景举例
- 互联网出行
互联网出行涉及到运力的调度、拼车、供需预测、热力图等业务。以供需预测为例,基于对历史轨迹数据的分析,并结合实时订单数据,预测当前订单密集区域的分布,提高接单概率并减少司机空驶时间。这背后涉及到大量时空型数据和业务信息的快速读取,并结合业务算法进行预测,利用HBase Ganos可有力支持该业务场景。
- 传感网与实时GIS
在环保、气象、水利、航海航空监测等领域,需要通过各种传感器获取天、空、地、海不同地理现象、事件、要素的全生命周期多尺度监测指标,比如污染监测、水位监测、降雨量监测、航标监测等。HBase Ganos可以为构建实时GIS大数据应用提供稳定、可靠、弹性、免运维的PaaS服务,为地理国情常态化监测和智慧城市建设提供基础平台。
- 栅格化GIS应用及航天航空遥感应用
对地观测、商业航天、无人机测绘等快速发展,积累了大量的时空栅格数据。HBase Ganos提供了针对栅格数据管理的通用化模型支持,能够有效支撑大规模遥感影像数据和GIS栅格GRID数据的存储、查询和基础分析处理能力,包括ETL工具支持遥感影像重投影、拼接、切片、入库,支持OGC WMS/WMTS等服务发布以及基于Spark的高性能分布式计算引擎支持海量栅格图像分析和处理。
- IoT
IoT行业产生的部分数据兼具时序和空间特征。以车联网为例,海量的车辆终端在不断地产生轨迹数据,轨迹数据包含了时间和空间位置。利用HBase Ganos,实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外,还可以进行实时时空查询,如查询某段时间的轨迹,某段时间进入该区域的车辆等。结合大数据分析框架(如Spark)还可以进行穿越分析、区域分布热力图等。
- 智慧物流与外卖递送
在物流与外卖等领域,需要实时监控车辆、骑手的位置,以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报,云端需要处理高并发写入并进行实时路径规划、偏航监测等计算,背后都需要大量的时空计算。
HBase Ganos的优势
- 公有云原生架构的空间、时空、遥感一体化NoSQL大数据引擎产品,开箱即用;
- PB级存储、高并发写入、百亿级时空查询秒级响应;
- 支持数据冷热分离存储和数据高效压缩算法,海量数据存储成本低;
- 与云上Spark无缝集成,快速搭建空间大数据仓库和空间大数据分析平台;
- 基于OGC标准设计,便于系统间的集成与互操作;
-
基于阿里云HBase、XPack专业运维,全托管方式,提供可靠稳定的服务。
典型案例&架构
航海船舶大数据平台
-
场景:全球AIS船舶实时位置数据,每天上亿条轨迹写入,要求轨迹时空/时序查询秒级响应,具体包括:
- 监管区域实时地理围栏判断
- 轨迹区域回放(指定区域+指定时间段)
- 轨迹回放(指定时间段查询)
-
架构说明
-
场景:实时采集车辆设备轨迹,40万+终端设备,3万+轨迹点/秒峰值;对外提供实时位置查询、地理围栏、轨迹相似度判断等服务;
- 架构说明:
- HBase Ganos承载所有历史轨迹库的存储
- 当历史数据量较大时,可通过冷数据自动转储功能,将数据存放到oss中,减少70%以上的成本
- 百亿量级的轨迹查询(比如查询某段时间、某空间范围内经过的轨迹)只需亚秒级
- 与spark平台无缝衔接,可以提供类似轨迹相似度、OD分析等强大功能
遥感大数据管理与智能服务平台
- 场景:遥感影像数据入库、查询、分析和遥感AI智能服务。
- 痛点:
- 遥感影像数据体量大且增量快,存储扩展不灵活,成本高昂,管理复杂
- 传统静态切片方式管理显示速度快,但无法支撑分析场景和AI场景
- 多源空间数据融合查询分析困难
- 架构说明:
- 原始数据采用OSS高性价比存储,冷热分离
- 影像数据库采用SQL+NoSQL构建时空序列影像,容量无上限,存储与计算分离,极致弹性
- 原生提供基于“分块”理念的数据存储和组织方式,保留原始像元信息,有效支撑各类分析计算场景
- 与Spark集成,ETL与多源空间数据分析处理更便捷
欢迎加入『Ganos时空云计算』钉钉群、提交工单 或者与『 云hbase答疑
』交流
钉钉群:Ganos时空云计算