设为首页 加入收藏

TOP

hadoop与s3之间互相传输文件
2018-12-01 00:15:17 】 浏览:135
Tags:hadoop 之间 互相 传输 文件
  1. hadoop到s3
    hadoop distcp hdfs:/user/hive/data/SearchRecord/2014-02-16 s3n://*/hadoop/user/hive/data/SearchRecord/2014-02-16

    需要在core-site.xml中配置好fs.s3n.awsAccessKeyId和fs.s3n.awsSecretAccessKey

    注意s3的路径需要使用s3n

  2. s3到hadoop
    hadoop distcp s3n://*/hadoop/user/hive/data/SearchRecord/2014-02-16/ hdfs:/user/hadoop/test/SearchRecord/2014-02-16
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hdfs有多级目录 合并文件下载到本.. 下一篇java连接HDFS+Kerberos配置参数示..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目