云原生多模数据库 Lindorm 从 OpenTSDB 到 Lindorm时序引擎 的数据迁移

• Linux
• JDK（1.8 以上，推荐 1.8）
• Python（推荐 Python 2.6.x）
• OpenTSDB（目前只支持兼容 2.3.x，其他版本暂不保证兼容）
• Lindorm时序引擎（目前只支持兼容 2.4.x 及以上版本，其他版本暂不保证兼容）

点击 链接 进行下载。

这里，我们先以最简单的 Stream Reader 到 Stream Writer 为例。因为这两个插件不依赖任何的外部环境，特别适合用来测试流程是否能走通。简单介绍下这两个插件，其中 Stream Reader 会随机地产生字符串，而 Stream Writer 则会将接受到的字符串输出到控制台，以此模拟一个最简单的数据迁移过程。

• 工具部署

  将下载后的安装包，解压至某个目录（作为 DATAX_HOME），即可运行迁移任务：

  $ cd ${DATAX_HOME}
  $ python bin/datax.py job/job.json        

• 检查任务是否成功

  下面是任务结束后的汇总信息，看到如下内容，即可表示迁移任务已成功完成：

  任务启动时刻                    : 2019-04-26 11:18:07
  任务结束时刻                    : 2019-04-26 11:18:17
  任务总计耗时                    :                 10s
  任务平均流量                    :          253.91KB/s
  记录写入速度                    :          10000rec/s
  读出记录总数                    :              100000
  读写失败总数                    :                   0
  						

  录制的命令行：数据迁移 Quick Start

通过上述 Stream Reader 到 Stream Writer 的迁移任务，我们就可以确保整个 DataX 流程是没有问题的。下面就可以真正开始 OpenTSDB Reader 到 TSDB Writer 迁移任务了。

• 配置迁移任务

  配置一个从 OpenTSDB 数据库同步抽取数据到 时序引擎 的任务，命名为 opentsdb2tsdb.json，完整的配置信息如下（针对各个配置参数的详细说明，请看下一章节"参数说明"）：

  {
    "job": {
      "content": [
        {
          "reader": {
            "name": "opentsdbreader",
            "parameter": {
              "endpoint": "http://192.168.1.100:4242",
              "column": [
                "m"
              ],
              "startTime": "2019-01-01 00:00:00",
              "endTime": "2019-01-01 03:00:00"
            }
          },
          "writer": {
            "name": "tsdbhttpwriter",
            "parameter": {
              "endpoint": "http://192.168.1.101:8242"
            }
          }
        }
      ],
      "setting": {
        "speed": {
          "channel": 1
        }
      }
    }
  }
  						

• 启动 OpenTSDB 2 时序引擎 迁移任务

  $ cd ${DATAX_HOME}/..
  $ ls
    datax/  datax.tar.gz  opentsdb2tsdb.json
  $ python datax/bin/datax.py opentsdb2tsdb.json
  						

• 检查任务是否成功

  下面是任务结束后的汇总信息，看到如下内容，即可表示迁移任务已成功完成：

  任务启动时刻                    : 2019-04-26 11:47:06
  任务结束时刻                    : 2019-04-26 11:47:16
  任务总计耗时                    :                 10s
  任务平均流量                    :           98.92KB/s
  记录写入速度                    :            868rec/s
  读出记录总数                    :                8685
  读写失败总数                    :                   0
  						

  录制的命令行：从 OpenTSDB 到 时序引擎 数据迁移

因为 TSDB Writer 写入数据的方式是调用 HTTP 接口（/api/put）来完成的，所以需要确保迁移任务的进程能正常访问到 时序引擎 暴露出来的 HTTP 接口的。否则，会报错 Connect Exception 异常。

因为 OpenTSDB Reader 读取数据是通过直连底层存储 HBase 的，所以需要确保迁移任务的进程能正常连接到 HBase 集群。否则，会报错 Connect Exception 异常。