通用代码框架，可以使用户爬取网页变得更有效，更稳定、可靠。

HTTP协议

　　HTTP,Hypertext Transfer Protocol，超文本传输协议。

　　HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。

　　HTTP协议采用URL作为定位网络资源的标识。

URL格式：http://host[:port][path]

　　· host：合法的Internet主机域名或IP地址
　　· port：端口号，缺省端口号为80
　　· path：请求资源的路径

HTTP URL的理解：

　　URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。

HTTP协议对资源的操作

理解PATCH和PUT的区别

　　假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段。
　　需求：用户修改了UserName，其他不变。
　　　　· 采用PATCH，仅向URL提交UserName的局部更新请求。
　　　　· 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除。

　　PATCH的主要好处：节省网络带宽

Requests库主要方法解析

　　requests.request(method, url, **kwargs)
　　　　· method：请求方式，对应get/put/post等7种
　　　　　　例： r = requests.request('OPTIONS', url, **kwargs)
　　　　· url：拟获取页面的url链接
　　　　· **kwargs：控制访问的参数，共13个，均为可选项
　　　　　　params：字典或字节序列，作为参数增加到url中；

kv = {'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123.io/ws',params=kv)
print(r.url)
'''
http://python123.io/ws?key1=value1&key2=value2
'''

　　　　　　data：字典、字节序列或文件对象，作为Request的内容；

　　　　　　json：JSON格式的数据，作为Request的内容；
　　　　　　headers：字典，HTTP定制头；

hd = {'user-agent':'Chrome/10'}
r = requests.request('POST','http://www.yanlei.shop',headers=hd)

　　　　　　cookies：字典或CookieJar，Request中的cookie；

　　　　　　auth：元组，支持HTTP认证功能；
　　　　　　files：字典类型，传输文件；

fs = {'file':open('data.xls', 'rb')}
r = requests.request('POST','http://python123.io/ws',files=fs)

　　　　　　timeout：设定超时时间，秒为单位；
　　　　　　proxies：字典类型，设定访问代理服务器，可以增加登录认证
　　　　　　allow_redirects：True/False，默认为True，重定向开关；
　　　　　　stream：True/False，默认为True，获取内容立即下载开关；
　　　　　　verify：True/False，默认为True，认证SSL证书开关；
　　　　　　cert：本地SSL证书路径

#方法及参数
requests.get(url, params=None, **kwargs)
requests.head(url, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.delete(url, **kwargs)

网络爬虫引发的问题
　　性能骚扰：
　　　　受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销
　　法律风险：
　　　　服务器上的数据有产权归属，网路爬虫获取数据后牟利将带来法律风险。
　　隐私泄露：
　　　　网络爬虫可能具备突破简单访问控制的能力，获得被保护数据从而泄露个人隐私。

网络爬虫的限制
　　·来源审查：判断User-Agent进行限制
　　　　检查来访HTTP协议头的User-Agent域，值响应浏览器或友好爬虫的访问。
　　· 发布公告：Roots协议
　　　　告知所有爬虫网站的爬取策咯，要求爬虫遵守。

Robots协议
　　Robots Exclusion Standard 网络爬虫排除标准

　　作用：网站告知网络爬虫哪些页面可以抓取，哪些不行。
　　形式：在网站根目录下的robots.txt文件。
　　案例：京东的Robots协议
　　　　http://www.jd.com/robots.txt

# 注释：*代表所有，/代表根目录
User-agent: * 
Disallow: /?* 
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
User-agent: EtaoSpider 
Disallow: / 
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Disallow: /

Robots协议的使用

　　网络爬虫：自动或人工识别robots.txt，再进行内容爬取。

　　约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。

Requests库网络爬虫实战

1、京东商品

import requests
url = "https://item.jd.com/5145492.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

2、亚马逊商品