设为首页 加入收藏

TOP

爬虫——BeautifulSoup4解析器(二)
2017-09-30 17:57:09 】 浏览:1264
Tags:爬虫 BeautifulSoup4 解析
quot;>Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ # 创建 Beautiful Soup 对象,指定lxml解析器 soup = BeautifulSoup(html, "lxml") # # 打印title标签 print(soup.title) # 打印head标签 print(soup.head) # 打印a标签 print(soup.a) # 打印p标签 print(soup.p) # 打印soup.p的类型 print(type(soup.p))

运行结果

<title>The Dormouse's story</title>
<head><title>The Dormouse's story</title></head>
<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<class 'bs4.element.Tag'>

我们可以利用soup加标签名轻松地获取这些标签内容,这些对象的类型是bs4.element.Tag。但是注意,它查找的是在所有内容中的第一个符合要求的标签。如果需要查询所有的标签,后面会进行介绍。

对于Tag,它有两个重要的属性,就是name和attrs

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'

from bs4 import BeautifulSoup

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

# 创建 Beautiful Soup 对象,指定lxml解析器
soup = BeautifulSoup(html, "lxml")

# soup对象比较特殊,它的name为[document]
print(soup.name)

# 对于其他内部标签,输出的值便为标签本身的名称
print(soup.head.name)

# 打印p标签的所有属性,其类型是一个字典
print(soup.p.attrs)

# 打印p标签的class属性
print(soup.p['class'])
# 还可以利用get方法获取属性,传入属性的名称,与上面的方法等价
print(soup.p.get('class'))

print(soup.p)

# 修改属性
soup.p['class'] = "newClass"
print(soup.p)

# 删除属性
del soup.p['class']
print(soup.p)

运行结果

[document]
head
{'class': ['title'], 'name': 'dromouse'}
['title']
['title']
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="newClass" name="dromouse"><b>The Dormouse's story</b></p>
<p name="dromouse"><b>The Dormouse's story</b></p>

2.NavigableString

既然我们已经得到了标签的内容,那么问题来了,我们想要获取标签内部的文字怎么办呢?很简单,用.string即可,例如:

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'

from bs4 import BeautifulSoup

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story&
首页 上一页 1 2 3 4 5 6 7 下一页 尾页 2/10/10
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇【人生苦短 PYTHON当歌】——PYTH.. 下一篇day5模块学习 -- os模块学习

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目