uvloop:一个比gevent还要快两倍的 Python 异步网络框架

十点数据 1年前 ⋅ 5020 阅读

asyncio.jpg

asyncio是遵循Python标准库的一个异步 I/O框架.在这篇文章里,我将介绍 uvloop: 可以完整替代asyncio事件循环.uvloop是用Cython写的,基于 libuv.

uvloop 使得 asyncio 更快. 实际上,比nodejs,gevent,以及其他任何Python异步框架至少快两倍.uvloop asyncio 基于性能的测试接近于Go程序.

GO.jpg

asyncio 和 uvloop

asyncio 模块, 是在 PEP 3156引入的, 是一个集合,包含网络传输, 协议, 和抽象的流, 带有可插拔的事件循环. 事件循环是asyncio的核心.它提供如下API:

调用方法的调度

通过网络传输数据

执行 DNS 查询,

处理 OS 操作系统信号

对创建服务器和连接进行封装

子进程异步处理

目前 uvloop 只支持 *nix 平台和 Python 3.5。

uvloop 是 Python 内建的 asyncio 事件循环的替代品,你可以通过 pip 来安装:

$ pip install uvloop

在你的 asyncio 代码中使用 uvloop 非常简单:

import asyncio
import uvloop
asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())

上面的代码片段让 asyncio.get_event_loop() 返回一个 uvloop 的实例

体系结构

uvloop是用Cython编写的,并建立在libuv之上。

libuv是一种高性能的、跨平台异步的 I/O 类库,nodejs也使用到了它。由于nodejs是如此的广泛和流行,可以知道libuv是快速且稳定的。

uvloop 实现了所有的asyncio 事件循环APIs。高级别的Python对象包装了低级别的libuv 结构体和函数方法。 继承可以使得代码保持DRY(不要重复自己),并确保任何手动的内存管理都可以与libuv的原生类型的生命周期保持同步。

利用uvloop可以写出在单CPU内核下每秒钟能够发出上万个请求的Python网络代码。 在多内核系统下,可以使用进程池来进一步来改善系统性能。

uvloop 和 asyncio,在加上Python 3.5里 async/await的强大能力,使得使用Python编写高性能的网络代码更容易了。

相关阅读:

一套价值十万的微信公众号采集解决方案(免费送)

数据采集采集架构中各模块详细分析

基于大数据平台的互联网数据采集平台基本架构

一套价值十万的微信公众号采集解决方案(免费送)

教你一种1分钟下载1万个网页的方法,你学吗?

数据采集中,如何建立一套行之有效的监控体系?

3人团队,如何管理10万采集网站?(最全、最细解读)

爬虫系列之基于XPosed框架的微信公众号采集

全部评论: 0

    我有话说: