Python模块·Requests请求数据（可以作用于爬虫）

一、Requests简介：

• requests 是用 Python 语言编写的、优雅而简单的 HTTP 库
• requests 内部采用来 urillib3
• 需要爬虫可以使用该工具模块
• requests 发送一个 GET 请求，需要在 URL 里请求的参数可通过 params 传递
• requests 发送一个 POST 请求，新增了一个可选参数 data，需要通过 POST 请求传递 body 里的数据可以通过 data 传递

二、Requests常用函数：

三、请求参数：

• 当访问一个 URL 时，我们经常需要发送一些查询的字段作为过滤信息，例如：httpbin.com/get?key=val，这里的 key=val 就是限定返回条件的参数键值对
• 当利用 python 的 requests 去发送一个需要包含这些参数键值对时，可以将它们传给params
• 还可以通过headers参数，模拟真实用户访问，绕过反爬虫机制

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'
url = 'https://www.baidu.com/s?'
# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}
# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)
print(response.text)

四、案例练习：（下载网页源代码，并下载全部图片素材）

• 下载新浪首页图片

import os.path
import re
import threading
import requests

# 下载资源函数
def download(url, file_name):
    response = requests.get(url)
    with open(file_name, mode="wb") as fw:
        # 写入到指定文件中
        fw.write(response.content)

# 获取url列表（图片）
    # 1.读取网页文件内容
    # 2.匹配url正则
    # 3.保存匹配结果到列表中
    # 4.返回列表
def get_url(file_name, re_str):
    with open(file_name, mode="r") as fr:
        regular_obj = re.compile(re_str)
        url_list = []
        while True:
            line_data = fr.readline()
            if len(line_data) == 0:
                break
            result = regular_obj.search(line_data)
            if result is not None:
                url_list.append(result.group())
        return url_list

if __name__ == '__main__':
    # 网页文件下载地址 图片存放地址
    html_file, pic_dir = "/opt/my_html.html", "/tmp/images/"
    # 指定下载url，可以动态变换
    url_html = "https://www.sinaxxxx.com.cn"

    # 文件不存在则下载
    if not os.path.exists(url_html):
        # 下载网页资源
        download(url_html, html_file)
    # 目录不存在则创建
    if not os.path.exists(pic_dir):
        os.makedirs(pic_dir)
    # 图片路径的正则判断
    pic_re = "(http|https)://[/w/./-]+/.(jpg|png|jepg|gif)"
    # 获取图片资源
    list_image = get_url(html_file, pic_re)
    # 下载图片素材到 /tmp/images
    for url_image in list_image:
        f_name = url_image.split("/")[-1]
        print(f_name)
        # 异步下载资源
        threading.Thread(
            target=download,
            args=(url_image, f"{pic_dir}{f_name}")
        ).start()