设为首页 加入收藏

TOP

使用flume将数据导入到hdfs中
2018-11-28 17:54:22 】 浏览:31
Tags:使用 flume 数据 导入 hdfs
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Gscsd_T/article/details/80098414

在前面的博客上我说了flume就是三个最重要的地方,分别是分别是source、channel、sink,source是获取数据,channel是通道,传输数据的,sink是把数据给谁的,这里显而易见的是把数据给hdfs的,所以我们只需要在前面的基础上改sink就可以了

在之前的基础上修改a.conf文件中的sink


修改完后启动hadoop


查看进程是否开启,其实这里只需开dfs就行了,不需要启动yarn


接着启动flume

新建一个文件,因为我们配置的时候是监控目录的,所以复制一个文件到那个文件夹下


写入一些数据在test文件中


接着把文件移动到a1_test文件夹下


然后我们会发现flume有变化


前面那个箭头是指我们移动过去的文件传输到了一个目录下面去了,并且改了一个名字,这是因为我在配置中写了以时间来命名的,相关配置可以去官网上看,而后面那个箭头指向的文件的后缀是tmp,这是因为文件还在写入,写完后它自动会把tmp去掉

然后登录我的hadoop


直接进入目录/user/hadoop/flumedir


接着就会发现我刚刚移动过去的文件的信息


跟着箭头一直点,这个目录我也不知道是什么


接着会发现一个00的目录,我猜是以编号来命名文件夹的吧


最后终于发现了我们的文件,是以FlumeData为前缀,这个前缀是默认的,自己也可修改,后缀是一串数字,这串数字是时间的信息。






】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Flume使用大全之kafka source-kaf.. 下一篇flume抽取mysql数据至hdfs

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目