设为首页 加入收藏

TOP

spark针对web日志正则匹配
2019-09-03 03:46:53 】 浏览:26
Tags:spark 针对 web 日志 正则 匹配

 

  针对于web日志做分析是学习spark常用练习项目。此文介绍web日志正则匹配相关小提示。

  1.  实例测试

  从网上找了一个access日志案列

218.19.140.242 - - [10/Dec/2010:09:31:17 +0800] "GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1" 200 1933 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)"

  下面是spark-shell中测试代码:

val list = """218.19.140.242 - - [10/Dec/2010:09:31:17 +0800] "GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1" 200 1933 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)""""
val logPattern = """^(\S+) (\S+) (\S+) \[([\w/]+)([\w:/]+)\s([+\-]\d{4})\] "(\S+) (\S+) (\S+)" (\d{3}) (\d+) "(\S+)" "(.*?)"$""".r
logPattern.findFirstIn(list) match {
case Some(logPattern(_*)) => true
case _ => false
}

  输出结果:

Boolean = true

  结果报错修改方式,删除部分项目具体测试哪一项正则出问题:

val list = """218.19.140.242 - - [10/Dec/2010:09:31:17 +0800]"""
val logPattern = """^(\S+) (\S+) (\S+) \[([\w/]+)([\w:/]+)\s([+\-]\d{4})\]$""".r
logPattern.findFirstIn(list) match {
case Some(logPattern(_*)) => true
case _ => false
}

 

  2. web日志格式

 

  将日志进行拆分:

(1)218.19.140.242        //客户端ip

(2)-            //标注访问者的标识,-表示空白

(3)-          //记录用户HTTP的身份验证

(4)[10/Dec/2010:09:31:17 +0800]        //记录请求的时间,+0800表示服务器所处时区为东八区

(5)"GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1"          //GET请求,请求的资源路径,协议为HTTP/1.1

(6)200    //状态码

(7)1933     //数据量

(8)"-"    //

(9)"Mozilla/5.0 (Windows......."    //记录客户端的浏览器信息

  3. scala正则匹配

 ^      匹配开始

$       匹配结束

\S+   匹配任意空白字符

\[([\w/]+)([\w:/]+)\s([+\-]\d{4})\]  匹配时间

 \d{3}       匹配三个数字

\d+       匹配多个数字

惰性匹配(.*?)

1、. 匹配任意除换行符“\n”外的字符;
2、*表示匹配前一个字符0次或无限次;
3、+或*后跟?表示非贪婪匹配,即尽可能少的匹配,如*?重复任意次,但尽可能少重复;
4、 .*? 表示匹配任意数量的重复,但是在能使整个匹配成功的前提下使用最少的重复。

 

参考文献:

1.https://www.douban.com/note/325691248/

2.https://www.runoob.com/scala/scala-regular-expressions.html

3.https://blog.csdn.net/qq_37699336/article/details/84981687

 


spark针对web日志正则匹配 https://www.cppentry.com/bencandy.php?fid=90&id=249827

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Scala 隐式转换和隐式参数 下一篇Scala 数组操作之Array、ArrayBuf..