文件存储 HDFS 使用云企业网跨VPC访问文件存储HDFS

本文档主要介绍如何使用云企业网（CEN）跨VPC访问文件存储HDFS。

背景信息

阿里云提供云企业网服务实现跨VPC访问文件存储HDFS，主要场景如下所示。


场景	描述
同账号同地域跨VPC访问文件存储HDFS	访问文件存储HDFS的计算实例（例如ECS）与文件存储HDFS属于相同的账号且在同一地域。说明此场景也可以使用文件存储HDFS的多挂载功能实现单文件系统实例的多VPC访问。
同账号跨地域跨VPC访问文件存储HDFS	访问文件存储HDFS的计算实例（例如ECS）与文件存储HDFS属于相同的账号但不在同一区域下。

本文以北京地域的ECS访问杭州地域的文件存储HDFS为例。

说明

使用云企业网实现跨地域跨VPC访问文件存储HDFS时，计算实例（例如ECS）与文件存储HDFS挂载点所在VPC的交换机网段必须不相同。
文件存储HDFS的权限组规则中的授权地址必须包含计算实例（例如ECS）所在的VPC地址。

准备工作

开通文件存储HDFS服务并创建文件系统实例和挂载点，详情请参见HDFS快速入门。
在需要访问文件存储HDFS的ECS上配置Hadoop环境，详情请参见配置 Hadoop和部署依赖。

创建云企业网实例

创建云企业网实例，并将北京地域ECS所在的VPC加载到云企业网实例中。

登录云企业网管理控制台。
在云企业网实例页面，单击创建云企业网实例。

在创建云企业网实例对话框中，配置相关参数。

重要参数说明如下所示。


配置	说明
实例类型	选择要互通的实例。本文选择专有网络（VPC）。
地域	选择所选实例的地域。本文选择华北2（北京）。
网络实例	选择要加载的实例。此处选择ECS所在的VPC实例。

单击确定。

加载网络实例

将杭州地域的文件存储HDFS挂载点所在的VPC实例加载到云企业网实例。

在云企业网实例页面，找到目标云企业网实例，单击管理。
在网络实例管理页签下，单击加载网络实例。

在加载网络实例对话框中，配置如下参数。

重要参数说明如下所示。


配置	说明
账号	选择同账号。
实例类型	选择要互通的实例。本文选择专有网络（VPC）。
地域	选择所选实例的地域。本文选择华东1（杭州）。
实例	选择要加载的实例。本文选择文件存储HDFS挂载点所在的VPC实例。

单击确定。

设置跨地域互通带宽

为云企业网实例设置跨地域互通带宽。

说明如果您是使用云企业网实现同账号同地域跨VPC访问文件存储HDFS，则无需设置跨地域互通带宽。

在云企业网实例页面，找到目标云企业网实例，单击管理。
购买带宽包。
1. 在带宽包管理页签下，单击购买带宽包（预付费）。
2. 根据需求购买带宽包，详情请参见购买带宽包。
设置跨地域互通带宽。
1. 在跨地域互通带宽管理页签下，单击设置跨地域带宽。
2. 根据页面提示配置相关参数，详情请参见设置跨地域互通带宽。

验证结果

登录北京地域的ECS。
验证ECS和文件存储HDFS之间的连通性。
```
ping f-xxxxxx.cn-xxxx.dfs.aliyuncs.com
```
f-xxxxxx.cn-xxxx.dfs.aliyuncs.com为文件存储HDFS的挂载点域名。
验证ECS是否能访问文件存储HDFS挂载点的10290端口。
```
telnet f-xxxxxx.cn-xxxx.dfs.aliyuncs.com 10290
```

验证ECS是否能通过文件存储HDFS挂载点访问文件存储HDFS上的文件。

说明如果创建的云企业网实例未配置带宽包，默认带宽为1kbps，仅可以测试连通性，不能访问文件存储HDFS实例上的文件或进行其他操作。

hadoop fs -ls  dfs://f-xxxxxx.cn-xxxx.dfs.aliyuncs.com:10290/
hadoop fs -mkdir  dfs://f-xxxxxx.cn-xxxx.dfs.aliyuncs.com:10290/test_dir
hadoop fs -touchz  dfs://f-xxxxxx.cn-xxxx.dfs.aliyuncs.com:10290/test_dir/words
echo "hello world" | hadoop fs -appendToFile - dfs://f-xxxxxx.cn-xxxx.dfs.aliyuncs.com/test_dir/words
hadoop fs -cat  dfs://f-xxxxxx.cn-xxxx.dfs.aliyuncs.com/test_dir/words