前几天写的‘python—多协程爬取斗鱼高颜值美女图片’，已经失效，斗鱼已经修改了网页的源代码。

今天重新写了一个新版本

说明：

（1）之前的版本只要将代码中的‘data-original’改为‘src’，能爬取一小部分的高颜美女，大部分图片都是黑白斗鱼字图片。

（2）现在2.0版本爬取的图片每张图片分为big和small两种像素的图片也就是以前图片的两倍-480张，不同的像素看起来有不同的感觉。

import requests
import re
# from bs4 import BeautifulSoup
from urllib import request
# import threading
import gevent
from gevent import monkey

monkey.patch_all()

def get_html_text(url):
    try:
        r = requests.get(url, timeout=10)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        print(len(r.text))
        return r.text
    except Exception as result:
        print('错误类型：', result)


def html_text_parser(img_list, html):

# 下面是修改的重点部分，采用了正则表达式，没有采用bs4
# 技术大神可以研究一下斗鱼这个网页的源代码，真正的图片信息都存储在后面，不是传统的
　　# html,我还没怎么接触过前端的知识，不知怎么使用bs4,所以使用了正则表达式。
    
    img_pat = r'"rs\w+":"(.*?)"'  
    links = re.compile(img_pat, re.S).findall(html)
    print(len(links))
    print(links)
    for link in links:
        if link:
            img_list.append(link)
    return img_list




def get_douyu_img(Img_list):
    for i,j in enumerate(Img_list):
        # name = j.split('.')[-1]
        r = request.urlopen(j)
        ima_content = r.read()
        path = str(i)
        with open(path, 'wb') as f:
            f.write(ima_content)

def main():
    url = 'https://www.douyu.com/g_yz'
    html = get_html_text(url)
    img_list = list()
    Img_list = html_text_parser(img_list, html)
    # print(Img_list)
    #t1 = threading.Thread(target=get_html_text, args=(url,))
    #t2 = threading.Thread(target=html_text_parser, args=(img_list,html))
    #t3 = threading.Thread(target=get_douyu_img, args=(Img_list,))
    #t1.start()
    #t2.start()
    #t3.start()
    gevent.joinall([
        gevent.spawn(get_html_text, url),
        gevent.spawn(html_text_parser, img_list, html),
        gevent.spawn(get_douyu_img, Img_list)
    ])


if __name__ == '__main__':
    main()