from lxml import etree

import requests

#指定URL

url='https://nc.58.com/ershoufang/'

#UA伪装

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0'}

#获取整页文本

page_text=requests.get(url=url,headers=headers).text

#初始化etree对象

tree=etree.HTML(page_text)

#第一次解析，获取对象列表

div_list=tree.xpath('//section[@class="list"]/div')

#打开文件

fp=open('./58.txt','w',encoding='utf-8')

#遍历对象列表

for div in div_list:

    #第二次解析，获取二手房源标题

    title=div.xpath('./a/div/div/div/h3/text()')[0]

    #数据持久化，写入本地文件

    fp.write(title+'\n')

    #print(title)

导入包

指定URL

ua伪装

获取页面文本

初始化etree对象

通过xpath表达式

解析获取指定内容

数据持久化存储

名称

正则表达式

BeautifulSoup

xpath

安装

--

pip install bs4

pip install lxml

pip install xpath

pip install lxml

导入包

import re

import requests

from bs4 import BeautifulSoup

import requests

from lxml import etree

import requests

原理

获取整页文本

指定re表达式

通过re方法