TOP

本地idea开发flink程序并本地运行读取HDFS文件
2018-12-27 12:17:07 】 浏览:1593次 本网站的内容取自网络,仅供学习参考之用,绝无侵犯任何人知识产权之意。如有侵犯请您及时与本人取得联系,万分感谢。
Tags:本地 idea 开发 flink 程序 运行 读取 HDFS 文件

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.5</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.5</version>
        </dependency>

1、需要在MAVEN中添加以上依赖。因为只添加的flink依赖不包含HDFS的文件读写,再提交到Flink集群的时候能够读到HDFS的文件,使用为在Flink集群和HDFS整合之后会自动找到HDFS的依赖包。这个选项在flink-conf.yaml中的fs.hdfs.hadoopconf: $HADOOP_HOME/etc/hadoop

请关注公众号获取更多资料


本地idea开发flink程序并本地运行读取HDFS文件 https://www.cppentry.com/bencandy.php?fid=115&id=200889

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume上传文件到hdfs上 下一篇hive 自定定义函数 从hdfs中加载..

评论

验 证 码:
表  情:
内  容: