设为首页 加入收藏

TOP

ICC副本>>>>(logback+flume+kafka+storm系统)
2019-03-13 01:57:49 】 浏览:61
Tags:ICC 副本 > logback flume kafka storm 系统

日志监控系统(ICC副本)

前言:
大学的时代,美好的时代。认识了WOW~,不算是骨灰级玩家。(80级开始玩耍的..)
打过的FB里面觉得ICC副本最好玩..亡灵FS小菜比一枚..<PVP实在太LOW了..>,SO.打算把这套系统当做打FB来搞..


初步用来解决的问题:
1.为了成就~(目前项目的日志采用的 liunx grep命令,3分钟执行一次读取项目的日志。弊端:非实时,占用1个CPU,满满的100%~~)
2.好想要霜之哀伤..(接口项目现在需要调用别系统很多数据,然后将数据存到本地数据库。目前这两部操作是同步执行的.. 数据库IO存在瓶颈,打算把数据库的操作单独的拿到项目里面进行操作。)

人员配置: logback + flume + kafka + storm

基本思路:

1、logback 在项目中作为日志的输出,appender指向flume,主动推送日志

2.、fluem作为日志收集块,将日志获取到之后。sink定向到不同的地方

3、 flume的sink定向到kafka作为kafka的producer,发布一个topic

4、strom的 spout 使用kafka的spout,订阅了kafka中发布的topic做为consumer,重写bolt作为逻辑的处理


刚开始搞~处于灭团中ing..进度完善的更新中...

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume读取日志数据写入kafka &nbs.. 下一篇flume   三大核心组件

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目