设为首页 加入收藏

TOP

python3爬取拉钩招聘数据(一)
2017-09-30 13:03:16 】 浏览:6781
Tags:python3 招聘 数据

使用python爬去拉钩数据
第一步:下载所需模块
requests 进入cmd命令 :pip install requests 回车 联网自动下载
xlwt 进入cmd命令 :pip install xlwt 回车 联网自动下载
第二步:找到你要爬去的网页(我爬去的是拉钩网)
选择浏览器 (火狐、谷歌)我使用的谷歌抓包
编码工具 (idea)( pyCharm)我使用的idea

import requests #导入下载过的requesta
import xlwt #导入下载过的xlwt
#用谷歌找到对应的网页,按f12进入检查
   #NetWork,XHR里面有一个headers里面找
headers={ #第一个电脑和服务器信息, 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',#电脑和服务器信息 #第二个是你从哪里进入的拉钩网,没有这个以为是机器人访问。 'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=', #第三个为了辨别身份,有的网站需要,有的不需要 'Cookie':'user_trace_token=20170921093258-cc8e4c13-9e6c-11e7-9d07-525400f775ce; LGUID=20170921093258-cc8e52b6-9e6c-11e7-9d07-525400f775ce; index_location_city=%E5%85%A8%E5%9B%BD; JSESSIONID=ABAAABAACEBACDGD4C15CDA891A7242B76AA4F9B7450B8B; _gat=1; PRE_UTM=; PRE_HOST=www.sogou.com; PRE_SITE=https%3A%2F%2Fwww.sogou.com%2Flink%3Furl%3DhedJjaC291NlQquFD-D9iKfCABISWiMgDLW1Nx6fG3psqHL_zYlG_a3mlRzfPLR2; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2Fgongsi%2Fj75915.html; TG-TRACK-CODE=index_search; _gid=GA1.2.405703854.1505957562; _ga=GA1.2.1930895945.1505957562; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1505957579,1505957596,1505957630,1505969456; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1505969469; LGSID=20170921125112-7dcd03f6-9e88-11e7-9d2f-525400f775ce; LGRID=20170921125125-85aaed04-9e88-11e7-91fb-5254005c3644; SEARCH_ID=746090bf111a497aa55f7f1b8dabffd2'#来路,你是从哪个页面点入的 } #data对应的是分页pn为1就相当于第一页 def getJobList(page): data={ 'first':'false', 'pn': page, 'kd': 'python' } #发起一个post请求,指的当前网页的链接 res=requests.post('https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=' 'false&isSchoolJob=0',data=data,headers=headers) result=res.json()#将里面的数据以json格式展示类似于(key,value) jobs=result['content']['positionResult']['result'] #每个对应查找 return jobs#结果返回 excelTabel= xlwt.Workbook()#创建excel对象 sheet1=excelTabel.add_sheet('lagou',cell_overwrite_ok=True) sheet1.write(0,0,'公司名')#公司名 sheet1.write(0,1,'城市')#城市 sheet1.write(0,2,'地区')#地区 sheet1.write(0,3,'全职/简直')#全职/简直 sheet1.write(0,4,'薪资')#薪资 sheet1.write(0,5,'职位')#职位 sheet1.write(0,6,'工作年限')#工作年限 sheet1.write(0,7,'公司规模')#公司规模 sheet1.write(0,8,'学历')#学历 n=1 for page in range(1,31):#循环输出每一页 for job in getJobList(page=page): #下面的if判断可以加也可以不加 if '1-3'in job['workYear'] and '后端开发'in job['secondType'] and '本科'in job['education']: # and '朝阳区'in job['district'] sheet1.write(n,0,job['companyFullName'])#公司名 sheet1.write(n,1,job['city'])#城市 sheet1.write(n,2,job['district'])#地区 sheet1.write(n,3,job['jobNature'])#全职/简直 sheet1.write(n,4,job['salary'])#薪资 sheet1.write(n,5,job['secondType'])#职位 sheet1.write(n,6,job['workYear'])#工作年限 sheet1.write(n,7,job['companySize'])#公司规模 sheet1.write(n,8,job['education'])#学历 n+=1 #打印到wps的表格里面 excelTabel.save('lagou.xlsx')

其实准备好图片的单不知道怎么插入到上面,

但是复制上面代码可以爬取出数据然后再慢慢研究(headers里面的根据个人的不同来更换)

python3 :

    输入和输出

        str():函数返回一个用户易读的表达形式

            str.format()替换输出语句中的{},跟其他字符串拼接

        repr():产生一个解析器易读的表达形式

            repr()函数可以转义字符串中的特殊字符

            repr()的参数可以是python的任何对象

    读和写文件

        open(filename,mode)将会返回一个file对象

            filename:变量是一

首页 上一页 1 2 下一页 尾页 1/2/2
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇LeetCode专题-Python实现之第1题.. 下一篇Cheat sheet for Jupyter Notebook

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目