设为首页 加入收藏

TOP

ICC副本>>>>(logback+flume+kafka+storm系统)
2018-12-06 01:57:19 】 浏览:9
Tags:ICC 副本 > logback flume kafka storm 系统

日志监控系统(ICC副本)

前言:
大学的时代,美好的时代。认识了WOW~,不算是骨灰级玩家。(80级开始玩耍的..)
打过的FB里面觉得ICC副本最好玩..亡灵FS小菜比一枚..<PVP实在太LOW了..>,SO.打算把这套系统当做打FB来搞..


初步用来解决的问题:
1.为了成就~(目前项目的日志采用的 liunx grep命令,3分钟执行一次读取项目的日志。弊端:非实时,占用1个CPU,满满的100%~~)
2.好想要霜之哀伤..(接口项目现在需要调用别系统很多数据,然后将数据存到本地数据库。目前这两部操作是同步执行的.. 数据库IO存在瓶颈,打算把数据库的操作单独的拿到项目里面进行操作。)

人员配置: logback + flume + kafka + storm

基本思路:

1、logback 在项目中作为日志的输出,appender指向flume,主动推送日志

2.、fluem作为日志收集块,将日志获取到之后。sink定向到不同的地方

3、 flume的sink定向到kafka作为kafka的producer,发布一个topic

4、strom的 spout 使用kafka的spout,订阅了kafka中发布的topic做为consumer,重写bolt作为逻辑的处理


刚开始搞~处于灭团中ing..进度完善的更新中...


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇flume   三大核心组件 下一篇Flume OOM 问题

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }