开始学习网络数据挖掘方面的知识，首先从Beautiful Soup入手（
Beautiful Soup是一个Python库，功能是从HTML和XML中解析数据），打算以三篇博文纪录学习Beautiful Soup的过程，
第一篇是Beautiful Soup基础知识，后两篇利用前边的Beautiful Soup知识
完成一个简单的爬虫，抓取allitebook.com的书籍信息和ISBN码，再根据ISBN码去amazon.com抓取书籍对应的价格。
一、Beautiful Soup简介
网络数据挖掘指的是从网站中获取数据的过程，数据挖掘技术可以让我们从网站世界中收集大量有价值的数据。
Beautiful Soup是一个Python库，可以从HTML或XML文件中获取数据，利用它你可以做很多事情，比如你可以持续解析某个商品的最新价格，以便跟踪价格的波动情况。
二、Beautiful Soup安装（Mac）
安装Beautiful Soup
sudo pip3 install beautifulsoup4
检验是否安装成功
from bs4 import BeautifulSoup
三、创建一个Beautiful Soup对象
html_atag = """<html><body><p>Test html a tag example</p>
<a href="http://www. allitebook.com">Home</a>
<a href="http://www.allitebook.com/books">Books</a>
</body>
</html>"""
soup = BeautifulSoup(html_atag, "html5lib")
print(soup.a)
四、查找内容
find()方法
在find()方法中传入节点名，例如ul，这样就可以获取第一个匹配的ul节点的内容，例如：
#input
html_markup = """<div>
<ul id="students">
<li class="student">
<div class="name">Carl</div>
<div class="age">32</div>
</li>
<li class="student">
<div class="name">Lucy</div>
<div class="age">25</div>
</li>
</ul>
</div>"""
student_entries = soup.find("ul")
print(student_entries)
#output
<ul id="students">
<li class="student">
<div class="name">Carl</div>
<div class="age">32</div>
</li>
<li class="student">
<div class="name">Lucy</div>
<div class="age">25</div>
</li>
</ul>
找到ul节点后，通过观察html可以得知，ul下有2个li，每个li下有2个div，则通过student_entries.li可以获取第一个li节点的数据，继续通过student_entries.li.div可以获取第一个li下第一个div的数据，例如：
#input
print(student_entries.li)
#output
<li class="student">
<div class="name">Carl</div>
<div class="age">32</div>
</li>
#input
print(student_entries.li.div)
#output
<div class="name">Carl</div>
继续通过div.string可以获取div的内容：
#input
print(student_entries.li.div.string)
#output
'Carl'
使用正则表达式查找：
find()方法支持根据正则表达式查找内容，例如：
#input
import re
email_id_example ="""<div>The below HTML has the information that has email ids.</div>
abc@example.com
<div>xyz@example.com</div>
<span>foo@example.com</span>"""
soup = BeautifulSoup(email_id_example,"lxml")
emailid_regexp = re.compile("\w+@\w+\.\w+")
first_email_id = soup.find(text=emailid_regexp)
print(first_email_id)
#output
abc@example.com
find_all()方法
find()方法返回第一个匹配的内容，find_all()方法会返回所有匹配的内容列表，例如上面的根据正则表达式查找邮箱地址，将find()方法换成find_all()方法，则会返回所有匹配成功的内容：