scrapy基础补齐,python中设置User-agent和代理ip
【1】设置浏览器头的python基础实现函数是 urllib.request.Request()
class urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
在创建Request对象的时候,可以传入headers参数。 因此,想要设置User Agent,有两种方法:
1.在创建Request对象的时候,填入headers参数(包含User Agent信息),这个Headers参数要求为字典;
2.在创建Request对象的时候不添加headers参数,在创建完成之后,使用add_header()的方法,添加headers。
具体的python时间代码如下:
# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
#以CSDN为例,CSDN不更改Us
共有 0 条评论