1 urlparse('http://www.baidu.com/index.html?x=123&y=789#13579')
2 ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='', query='x=123&y=789', fragment='13579')

爬虫通用类封装run方法

执行流程

• 判断队列中是否存在待爬取的网址
• 判断爬取网址是否遵守robots约定，不遵守则跳出禁止下载
• 对当前爬取网址限流
• 获取当前的访问深度
• 判断当前访问深度是否在规定范围内
• 下载爬取网址得到爬取结果
• 判断爬取结果是否为空
• 爬取结果不为空则保存
• 获取出爬取结果里的所有链接
• 使用过滤器筛选出指点关键字的链接
• for循环补全每个链接
• 补全同时判断链接是否访问过
• 未被访问过则深度加1
• 并加入队列