设为首页 加入收藏

TOP

Flume+Kafka+SparkStreaming+Hbase处理和调试方法
2018-11-13 16:36:49 【大 中 小】 浏览:110次
Tags：Flume Kafka SparkStreaming Hbase 处理 调试 方法

1. 首先得确保Flume能接受到数据和输出数据，所以源头监控log文件，输出在控制台

2. 确保kafka接受到数据并能通过consumer消费到，控制台输出

3.对接Flume和Kafka，将Flume的输出改为Kafka , 测试能否在Kafka处输出

4.SparkStreaming测试程序，测试能否接受到kafka数据并在控制台输出

5.编写sparkStreaming 处理逻辑， 并输出到hbase
【大 中 小】【打印】 【繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部】
上一篇：kafka开发 下一篇：[Kafka设计解析]--（六）Kafka高..

最新文章

多线程： 线程的同步   线程间..
vertica-->kafka-->mongodb数..
kafka   Partition分发策略
解决android studio报Error:Gradle ..
Kafka史上最详细原理总结   --..

热门文章

replication factor: 1 larger than..
kafka连接生产者报错Connection to ..
系统间通信方式之（Kafka的实际使用..
使用pykafka，kafka-python的api开..
Kafka遇到的坑-- Error while fetch..

Hot 文章

replication factor: 1 larger than..
kafka连接生产者报错Connection to ..
系统间通信方式之（Kafka的实际使用..
使用pykafka，kafka-python的api开..
Kafka遇到的坑-- Error while fetch..

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目