指定岗位|城市的招聘信息爬虫案例【完整版代码】
一、背景介绍
这里我们选择的是目前求职和招聘最常用的网站Bxxx,在采用其它方法的试验中,我们可能会遇到如下问题:
不知道该怎么解析网址,自定义城市和岗位的搜索词 不知道怎么样批量爬取,这里指的是自动切页 不知道该怎么破解动态cookie的问题(最麻烦) 多次访问导致ip被捕捉--“您的账号在过去24小时内有异常访问行为”,这里给出的最简单的方法就是:用手机给你的电脑开热点,一旦ip被限制,重启手机再开热点~
随着博弈的进行,可能会出现包括但不限于上述的问题,建议大家寻求最新版的代码或方案进行解决。
二、完整版代码
import requests
import xlwt
from lxml import etree
import time
import random
from selenium import webdriver
'''
你需要做的事情:
(1)封装岗位索引词的字典index_list
(2)增加城市编号-注意c开头
(3)记录每个网站爬
共有 0 条评论