最近在对先前写的爬虫框架进行升级，今天把下载部分使用的插件更新了一下，把原来的urllib.request换成了requests插件。 花了几个小时仔细的研究了一下requests的参数，目前初步整理一个工具类，代码如下：
import requests
from PIL import Image
from io import BytesIO
from com.fy.utils.http.UserAgentUtils import UserAgentUtils
from requests.exceptions import ReadTimeout, ConnectionError, RequestException
'''
requests插件工具类；
'''
class RequestsPlugs:
def __init__(self):
self.uau = UserAgentUtils()
#被正确编码后的请求网址的地址；
self.requestUrl = None
#服务器响应的内容
self.requestText = None
#获取二进制数据;以字节的方式访问请求响应体，对于非文本请求：
self.requestContent = None
#Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
self.htmlEncoding = None
#响应状态码
self.reponseStatusCode = None
#请求的历史记录（以列表的形式显示）或者响应对象的 history 方法来追踪重定向
self.reponseHistory = None
#请求网址的headers所有信息
self.reponseHeaders = None
#请求网址的cookies信息
self.reponseCookies = None
##如果response返回的状态码是非正常,则为False，否则为True
self.isOk = False
'''GET请求；;params格式:"{'key1': 'value1', 'key2': 'value2'}"
timeout：单位秒；可以是小数。如0.5，表示500毫秒；
'''
def get(self, url, params , headers , timeout , deCode , proxies):
headers = self.setUserAgent(headers)
with requests.Session() as s:
'''
第一种：设置普通代理
如果需要使用【代理】，你可以通过为任意请求方法提供 proxies 参数来配置单个请求:
proxies = {#设置普通代理
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
第二种：设置有用户名和密码的代理
若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 语法：
proxies = {#设置用户名和密码代理
"http": "http://user:pass@10.10.1.10:3128/",
}
第三种：设置设置socks代理
1：首先安装requests[socks]插件；
pip install requests[socks]
proxies = {
'http': 'socks5://127.0.0.1:9742',
'https': 'socks5://127.0.0.1:9742'
}
'''
try:
r = s.get(url, params=params, proxies=proxies, headers=headers , timeout=timeout)
self.handleResult(deCode, r)
except ReadTimeout:
print('Timeout')
except ConnectionError:
print('Connection error')
except RequestException:
print('Error')
#POST请求;params格式:"{'key1': 'value1', 'key2': 'value2'}"
def post(self, url, params , headers , timeout, deCode, proxies):
headers = self.setUserAgent(headers)
with requests.Session() as s:
r = s.post(url, params=params, proxies=proxies, headers=headers , timeout=timeout)
self.handleResult(deCode, r)
def handleResult(self, deCode, r):
#设置编码
if deCode != None and len(deCode) > 1:r.encoding = deCode
#被正确编码后的请求网址的地址；
self.requestUrl = r.url
#服务器响应的内容
self.requestText = r.text
#你也能以字节的方式访问请求响应体，对于非文本请求：
self.requestContent = r.content
#Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
self.htmlEncoding = r.encoding
#响应状态码
self.reponseStatusCode = r.status_code
#请求网址的headers所有信息
self.reponseHeaders = r.headers
#请求网址的cookies信息
self.reponseCookies = r.cookies
'''
可以使用响应对象的 history 方法来追踪重定向。
Response.history 是一个 Response 对象的列表，为了完成请求而创建了这些对象。这个对象列表按照从最老到最近的请求进行排序。
'''
#请求的历史记录（以列表的形式显示）或者响应对象的 history 方法来追踪重定向
self.reponseHistory = r.history
self.isOk = (r.status_code == requests.codes.ok)
#以请求返回的二进制数据创建一张图片；
def toImage(self, url, params , headers , timeout, proxies, imageFilePath):
headers = self.setUserAgent(headers)
with requests.Session() as s:
r = s.get(url, params=params, headers=headers, timeout=timeout, proxies=proxies)
i = Image.open(BytesIO(r.content))
#quality参数： 保存图像的质量，值的范围从1（最差）到95（最佳）。 默认值为75，使用中应尽量避免高于95的值; 100会禁用部分JPEG压缩算法，并导致大文件图像质量几乎没有任何增益。
i.save(imageFilePath, quality=95)
#Requests 中也有一个内置的 JSON 解码器，助你处理 JSON 数据：
def toJson(self, url, params , headers , timeout, deCode, proxies):
headers = self.setUserAgent(headers)
with requests.Session() as s:
r = s.get(url, params=params, headers=headers, timeout=timeout, proxies=proxies)
#设置编码
if deCode != None and len(deCode) > 1:r.encoding = deCode
'''如果 JSON 解码失败， r.json() 就会抛出一个异常。例如，响应内容是 401 (Unauthorized)，尝试访问 r.json() 将会抛出 ValueError: No JSON object could be decoded 异常。
需要注意的是，成功调用 r.json() 并**不**意味着响应的成功。有的服务器会在失败的响应中包含一个 JSON 对象（比如 HTTP 500 的错误细节）。这种 JSON 会被解码返回。要检查请求是否成功，请使用 r.raise_for_status() 或者检查 r.status_code 是否和你的期望相同。
'''
self.requestText = r.json()
#设置user-agent参数；
def setUserAgent(self, headers):
if headers == None:headers = {}
headers['User-Agent'] = self.uau.getheaders()
return headers
#获取cookie集合；
def getCookie(self):
cookie = {}
for key, value in self.reponseCookies.items():
cookie[key] = value
#文件上传
def upload(self, url, params , headers , timeout, proxies, filePath):
headers = self.setUserAgent(headers)
with requests.Session() as s:
files = {"files":open(filePath, "rb")}
s.post(url, params=params, headers=headers, timeout=timeout, proxies=proxies, files=files)
self.requestText = s.text
这是今天初步整理的，后续会继续对其进行更详细整理，希望对大家有帮助。
