gevent

如果让程序阻塞在IO操作,会浪费时间和CPU资源。

gevent是Python中用来实现协程的工具。使用gevent,当发生阻塞的时候,会把程序控制权转移出去。

gevent是如何实现当阻塞时交出CPU控制权的呢?它把Python中的许多阻塞操作(如sleep,select,控制网络操作的socket等)重新实现了一遍。

如何管理多个协程的控制权呢?gevent实现了一套类似于Python multiprocess/thread库的接口。用spawn方法创建协程,用joinall方法等待协程完成。

需要注意的是,如果使用spawn传入的函数本身不能让出CPU控制权,那么用这种方法就和普通的同步操作没有区别,失去意义。

解决的方法是使用 monkey patch,这是一种在运行时动态改变类或模块的方法。

monkey patch的实现机制的核心是调用setattr方法。

为了 monkey patch 更改那些已经写好的库,首先要monkey patch,再import需要更改的库。

经典用法:

from gevent import monkey
monkey.patch_all()

import xxx(other modules you need)

在使用gunicorn起服务器的时候加一个 -k gevent_wsgi 参数就可以 patch all 所有的module

另外,写 monkey.patch_all() 的时候要确保正常的业务代码不会引用到这个模块,不要让其他人的代码在不知情的情况下被patch

 

posted @ 2018-03-07 20:36  geeklove  阅读(288)  评论(0编辑  收藏  举报