设为首页 加入收藏

TOP

阿里云的oss上传到cdh的hdfs集群
2019-04-22 00:17:57 】 浏览:87
Tags:阿里 云的 oss 传到 cdh hdfs 集群

1.oss可以上传到hdfs,支持emr集群还支持其他开源的hdfs版本。

emr-tools兼容Hadoop 2.4.x、2.5.x、2.6.x、2.7.x版本,如果有其他Hadoop版本兼容性的需求,请提交工单给阿里云

下载https://helpcdn.aliyun.com/document_detail/63822.html

tar jxf emr-tools.tar.bz2

2.oss到hdfs命令。

./hdfs2oss4emr.sh oss://accessKeyId:accessKeySecret@bucket-name.oss-cn-hangzhou.aliyuncs.com/path/on/oss /path/on/new-hdfs

这个可以作为备份数据的方式,可以降低存储价格。



参数说明
accessKeyId访问OSS API的密钥。
获取方式请参见如何获取如何获取AccessKeyId和AccessKeySecret
accessKeySecret
bucket-name.oss-cn-hangzhou.aliyuncs.comOSS的访问域名,包括bucket名称和endpoint地址。



】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spark 创建RDD (集合,本地文件,.. 下一篇HDFS添加和删除节点

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目