TOP

本地idea开发flink程序并本地运行读取HDFS文件
2018-12-27 12:17:07 】 浏览:658
Tags:本地 idea 开发 flink 程序 运行 读取 HDFS 文件

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.5</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.5</version>
        </dependency>

1、需要在MAVEN中添加以上依赖。因为只添加的flink依赖不包含HDFS的文件读写,再提交到Flink集群的时候能够读到HDFS的文件,使用为在Flink集群和HDFS整合之后会自动找到HDFS的依赖包。这个选项在flink-conf.yaml中的fs.hdfs.hadoopconf: $HADOOP_HOME/etc/hadoop


本地idea开发flink程序并本地运行读取HDFS文件 https://www.cppentry.com/bencandy.php?fid=115&id=200889

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume上传文件到hdfs上 下一篇hive 自定定义函数 从hdfs中加载..