英文不好只能看中文版的。邮电出版社翻译的真很烂。

以上是吐槽，以下是正文。

书中用的pthon 3.X版本，建议安装python3.4以上的版本，低版本的没有自带pip安装插件会比较麻烦。

下载地址：https://www.python.org/downloads/windows/

1.1注意乌鸦处提示，如果用2.x的版本后面写urllib.request处替换成urllib或者urllib2.

1.2.1 安装包命令一定不要写错 pip install beatifulsoup4 

1.2.2 用html.read() 读取网页中ccs样式里的h1标签的内容

#! /usr/bin/env python
#coding=utf-8
from urllib.request import urlopen
#3.*版本是这样的，2.*去掉后面.request,参照1.1乌鸦处提示
from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page1.html") bsObj=BeautifulSoup(html.read()) print(bsObj.h1.get_text())

1.2.3设置报错

       网页不存在 except HTTPError as e:

       服务器不存在 if html is None

       属性错误: except AttributeError as e:

       如何创建函数，返回报错。

#! /usr/bin/env python
#coding=utf-8
from urllib2 import urlopen
from bs4 import BeautifulSoup from urllib2 import HTTPError def getTitle(url): try: html =urlopen(url) except HTTPError as e: #e为异常对象实例 return None try: bsObj=BeautifulSoup(html.read()) title=bsObj.body.h1 except AttributeError as e: return None return title title=getTitle("http://www.pythonscraping.com/pages/pageee1.html") #这里指定一个无法找到的页面 if title == None: print("title could not be found") else: print(title)

2.2根据标签属性抽取文字

namelist=bsObj.findAll("span",{"class":"green"}

#这里需要主要的是findAll中的A必须要大写。

get_text()是起到删除标签作用，可以将其添加print(bsObj.h1.get_text())中，运行删除h1标签

 

2.2.1 find和findAll的差别，可用limit限制findAll的寻找层数，具体差别出了limit限制完全没看明白

2.2.2 beautifulsoup的对象

  普通对象 bsObj

  标签Tag对象 bsObj.div.h1

  NAvigablesString对像  标签里面的文字

  Comment对象 查找注释文字<!--***-->

2.2.3导航树--子、兄弟、父标签

子标签（children）和后代标签（descendant）

from urllib.request import urlopen
from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page3.html") bsObj=BeautifulSoup(html) #比1.2中省略了.read() for child in bsObj.find("table",{"id":"giftList"}).children: #.children是子对象，.descendants是所有后代 print (child)

兄弟标签 

from urllib.request import urlopen
from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page3.html") bsObj=BeautifulSoup(html) for sibling in bsObj.find("table",{"id":"giftList"}).tr.next_siblings: #.tr提取标题行 #.next_siblings提取除标题行外的数据 #.previous_siblings提取最后一行外的数据 #上面两个去掉s只返回单个标签 print (sibling)

父标签

from urllib.request import urlopen
from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page3.html") bsObj=BeautifulSoup(html) print (bsObj.find("img",{"src":"../img/gifts/img1.jpg"}).parent.previous_sibling.get_text()) #翻译下来就是打印图片img1.jpg父亲的上级兄弟的删除标签结果。

2.3正则表达式。

此处延伸扩展就能单独一篇这里不多介绍，站长工具里面有正则表达式工具。

2.4正则表达式和Beautifulsoup 

from urllib.request import urlopen
from bs4 import BeautifulSoup html = urlopen("http://www.pythonscraping.com/pages/page3.html") bsObj=BeautifulSoup(html) import re images=bsObj.findAll("img",{"src":re.compile("\.\.\/img\/gifts/img.*\.jpg")}) for image