日志监控系统(ICC副本)
前言:
大学的时代,美好的时代。认识了WOW~,不算是骨灰级玩家。(80级开始玩耍的..)
打过的FB里面觉得ICC副本最好玩..亡灵FS小菜比一枚..<PVP实在太LOW了..>,SO.打算把这套系统当做打FB来搞..
初步用来解决的问题:
1.为了成就~(目前项目的日志采用的 liunx grep命令,3分钟执行一次读取项目的日志。弊端:非实时,占用1个CPU,满满的100%~~)
2.好想要霜之哀伤..(接口项目现在需要调用别系统很多数据,然后将数据存到本地数据库。目前这两部操作是同步执行的.. 数据库IO存在瓶颈,打算把数据库的操作单独的拿到项目里面进行操作。)
人员配置: logback + flume + kafka + storm
基本思路:
1、logback 在项目中作为日志的输出,appender指向flume,主动推送日志
2.、fluem作为日志收集块,将日志获取到之后。sink定向到不同的地方
3、 flume的sink定向到kafka作为kafka的producer,发布一个topic
4、strom的 spout 使用kafka的spout,订阅了kafka中发布的topic做为consumer,重写bolt作为逻辑的处理
刚开始搞~处于灭团中ing..进度完善的更新中...