设为首页 加入收藏

TOP

Python爬虫入门教程 25-100 知乎文章图片爬取器之一(二)
2019-01-16 14:08:45 【大 中 小】 浏览:295次
Tags：Python 爬虫 入门教程 25-100 文章 图片 之一
s=headers,timeout=3) as rep: data = rep.json() if data: collection.insert_many(data["data"]) except Exception as e: print(e.args) finally: if self._offset <= self._totle: self._offset = self._offset + 5 # 每次+5 print("防止被办，休息3s") time.sleep(3) self.run() else: print("所有数据获取完毕") if __name__ == '__main__': # 偏移量是0,5,10 i=1 (i-1)*5 zhi = ZhihuOne(1084) zhi.run()

上面主程序入口中，我写了个1084 ，这个偷懒，就硬编码了，数据当然也可以通过爬取获取，没有任何问题

4. 知乎文章图片写在后面

本篇文章是知乎文章爬取器之一，接下来完善的功能

  1. 爬取地址用户可以输入
  2. 自动答案总数
  3. 文章中图片自动下载
  4. 等功能
首页 上一页 1 2 下一页 尾页 2/2/2
【大 中 小】【打印】 【繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部】
上一篇：python其他的记录 下一篇：Python面向对象：杂七杂八的知识点

最新文章

Django框架系列目录
创建Anaconda虚拟Python环境的方法
Python获取主目录的方法
Python中跨越多个文件使用全局变量
chatgpt使用python写一段二分查找的..

热门文章

PyCharm 2017 官网 下载 安装 设置 ..
day5模块学习 -- os模块学习
字符、字符集、编码，以及它们pytho..
Day9 网络编程
Python爬虫实战一之爬取QQ音乐

Hot 文章

PyCharm 2017 官网 下载 安装 设置 ..
day5模块学习 -- os模块学习
字符、字符集、编码，以及它们pytho..
Day9 网络编程
Python爬虫实战一之爬取QQ音乐

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目