这次爬取的网站是糗事百科，网址是：http://www.qiushibaike.com/hot/page/1

分析网址，参数'page/'后面的数字'1'指的是页数，第二页就是'/page/2'，以此类推。。。

 

一、分析网页

网页图片

 

然后明确要爬取的元素：作者名、内容、好笑数、以及评论数量

 

每一个段子的信息存放在'div id="content-left"'下的div中

爬取元素的所在位置

 

二、爬取部分

　　工具：　　

　　　　Python3

　　　requests

　　　xpath

 

　　1、获取每一个段子

# 返回页面的div_list
    def getHtmlDivList(self, pageIndex):
        pageUrl = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
        html = requests.get(url=pageUrl, headers=self.headers).text
        selector = etree.HTML(html)
        divList = selector.xpath('//div[@id="content-left"]/div')
        return divList

 

　　　

　　每一个段子都在div中，这里用xpath，筛选出来后返回的是一个列表，每一个div都在里面

　　

　　2、获取每一个段子中的元素

    def getHtmlItems(self, divList):

        items = []

        for div in divList:
            item = []
            # 发布人
            name = div.xpath('.//h2/text()')[0].replace("\n", "")
            item.append(name)

            # 内容(阅读全文)
            contentForAll = div.xpath('.//div[@class="content"]/span[@class="contentForAll"]')
            if contentForAll:
                contentForAllHref = div.xpath('.//a[@class="contentHerf"]/@href')[0]
                contentForAllHref = "https://www.qiushibaike.com" + contentForAllHref
                contentForAllHrefPage = requests.get(url=contentForAllHref).text
                selector2 = etree.HTML(contentForAllHrefPage)
                content = selector2.xpath('//div[@class="content"]/text()')
                content = "".join(content)
                content = content.replace("\n", "")
            else:
                content = div.xpath('.//div[@class="content"]/span/text()')
                content = "".join(content)
                content = content.replace("\n", "")
            item.append(content)

            # 点赞数
            love = div.xpath('.//span[@class="stats-vote"]/i[@class="number"]/text()')
            love = love[0]
            item.append(love)

            # 评论人数
            num = div.xpath('.//span[@class="stats-comments"]//i[@class="number"]/text()')
            num = num[0]
            item.append(num)

            items.append(item)

        return items

 

 

 

　　　　　　这里需要注意的是，xpath返回的是一个列表，筛选出来后需要用[0]获取到字符串类型

　　　　　　上面的代码中，爬取的内容里，有的段子是这样的，如下图：

　　　　　　　　　　

　　　　　内容中会有标签<br>，那么用xpath爬取出来后，里面的内容都会成一个列表（这里的div就是列表），

　　　　　那div[0]就是"有一次回老家看姥姥，遇到舅妈说到表弟小时候的事～"，所以需要将div转换成字符串　　

　　　　　其他的部分就xpath语法的使用

 

　　3、保存进文本

# 保存入文本
    def saveItem(self, items):
        f = open('F:\\Pythontest1\\qiushi.txt', "a", encoding='UTF-8')

        for item in items:
            name = item[0]
            content = item[1]
            love = item[2]
            num = item[3]

            # 写入文本
            f.write("发布人：" + name + '\n')
            f.write("内容：" + content + '\n')
            f.write("点赞数：" + love + '\t')
            f.write("评论人数：" + num)
            f.write('\n\n')

        f.close()

　　

　　4、全部代码　

import os
import re
import requests
from lxml import etree


# 糗事百科爬虫
class QSBK:
    # 初始化方法，定义变量
    def __init__(self):
        self.pageIndex = 1
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"
        }
        self.enable = False

    # 返回页面的div_list
    def getHtmlDivList(self, pageIndex):
        pageUrl = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
        html = requests.get(url=pageUrl,