设为首页 加入收藏

TOP

集群间 Hive 数据 迁移 问题
2014-11-24 03:05:04 来源: 作者: 【 】 浏览:4
Tags:集群 Hive 数据 迁移 问题
1、 从hive中导出数据至本地目录 insert overwrite local directory '/export/tmp' select * from test1 where create_time = '2013-11-25'; 列数据之间默认以^A隔开。 2、将本地数据上传另一个集群的hdfs /home/q/hadoop-2.2.0/bin/hdfs dfs -put /export/tmp hdfs://host:port/tmp 3、将hdfs中的数据文件导入hive表中 hive -e "load data inpath '/tmp' into table test1;" 但某些表创建时,设置的以 '\t' 分割数据,在读取不到 '\t' 时,会将整行数据都导入第一列。 如果是hive-0.11.0版本,可以这样导出:
                hive> insert overwrite local directory '/export/tmp'
                hive> row format delimited
                hive> fields terminated by '\t'
                hive> select * from test1 where create_time = '2013-11-25';
 
 
         如果是低版本的hive,只好将导出的数据文件中的^A,替换为'\t':
               sed -i 's/^A/\t/g' filename
         同时需要将隐藏的.filename.crc校验文件删除掉,不然在上传的过程中,Hadoop将通过FSInputChecker判断需要上传的文件是否存在进行校验的crc文件,即.filename.crc,如果存在crc文件,将会对其内容一致性进行校验,如果校验 失败,会报fs.FSInputChecker: Found checksum error,停止上传该文件,最终导致整个MR任务无法执行。
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇数据仓库EDW层数据整合集成的思考 下一篇mongodb 配置replSet mongodb 配..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

·哈希表 - 菜鸟教程 (2025-12-24 20:18:55)
·MySQL存储引擎InnoDB (2025-12-24 20:18:53)
·索引堆及其优化 - 菜 (2025-12-24 20:18:50)
·Shell 中各种括号的 (2025-12-24 19:50:39)
·Shell 变量 - 菜鸟教 (2025-12-24 19:50:37)