一次监控系统进程影响的业务响应的问题及解决(二)
me/patrol/
IDCPCM/main/idcp.sh
root 9848 9803 253 20:40:00 25:36 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 29251 29179 251 19:10:00 30:05 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 19055 3432 0 16:40:00 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null
root 13603 3432 0 15:50:00 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null
root 13384 3432 0 18:20:00 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null
root 26541 3432 0 15:20:00 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null
root 29340 29289 252 21:10:00 24:36 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 22296 22236 251 18:00:00 34:44 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 10677 10653 252 21:00:00 23:38 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 20122 3432 0 21:20:00 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null
root 25174 25034 250 07:00:00 6:48 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 6585 6499 251 03:20:00 11:50 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 10206 10177 0 13:55:39 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 25419 25344 253 21:40:00 21:52 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 27135 3432 0 17:00:01 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null
root 10347 944 0 13:55:40 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 10167 10166 0 13:55:39 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 25569 3432 0 18:30:00 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>
/dev/null 2>/dev/null
root 10256 2025 0 13:55:40 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
root 29111 29082 252 20:50:00 24:08 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh
6，该进程每隔10分钟会起一个定时任务，但从上面的进程看，昨天开始运行的进程都还没有执行结束，异常原因未知
#BOMC
30 2 * * * /home/patrol/CM/up_bin/get_cm.sh 1>/dev/null 2>&1
0,10,20,30,40,50 * * * * /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null
7，kill 相关异常进程，为了防止问题再次发生，手工注释掉了该job的自动运行，系统恢复了正常
#BOMC
30 2 * * * /home/patrol/CM/up_bin/get_cm.sh 1>/dev/null 2>&1
#0,10,20,30,40,50 * * * * /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null
www.2cto.com
改进措施
自动运行的监控脚本一直处于正常运行状态，很难定位具体异常的原因了。因此为了防止类似问题发生，对脚本程序进行了修改，增加了判断语句
前一个调度如果还没有执行完，则强制退出脚本，重新执行，并添加了日志记录
IDCPNUM=`ps -ef|grep idcp.sh|grep -v grep|wc -l|awk '{ print $1 }'`
if [ $IDCPNUM -ge 1 ]; then
ps -ef |grep idcp.sh |awk '{system("kill -9 "$2)}'
sleep 10
cd $TMDR
rm PM*.txt
fi