python协程及应用(一):简介

前言:我一直在关注如何让开发变得更容易,效率更高,更不易出错。之前做过类似的努力,结合SOA和工作流引擎做的一个流程编辑:http://blog.csdn.net/chgaowei/article/category/597366。它有它自身的缺陷:脚本和程序之间的耦合太大,脚本限制太多。
后来接触并且学习Python,它简洁而强大,应该是解决这类问题的一个思路。那天看到Python自带的生成器yield关键字,感觉着应该是解决逻辑问题的一个突破点(后面会介绍)。再后来参加Python con2011 china,看里面很多人提到了协程和Greenlet,特别是赖勇浩提出的口号:协程才是未来。当时很兴奋,我一直思考的问题有了解决方案。
 协程是什么?
可以参考一下维基百科:http://zh.wikipedia.org/wiki/%E5%8D%8F%E7%A8%8B
我之前写过一篇文章:并发编程学习总结也提到过。我认为这个定义也许更加贴切:“编程语言提供的一种并发机制”。
先让我们来看一下进程和线程。
未来让计算机能够同时处理多个任务,操作系统有了进程的概念,而且在进程内部,基本可以认为当前系统只有一个进程在运行,操作系统对此作了非常好的封装。进程间的切换是有操作系统来完成的。
进程有一个问题,就是进程间切换耗费计算机资源非常大,而且申请一个新的进程的成本也非常高。所以后来就有了线程,它生成的成本和切换的消耗都比进程要低很多,而且线程间通信也非常方便。
线程的问题是:1)存在线程安全问题,出了问题非常不易定位。2)进程内部有线程数目的限制。3)随着并发量的增加,线程生成和切换的成本也变得昂贵。
解决并发还有一个方案是IO多路复用,它的效率确实非常高,但是代码复杂度也非常高:它把一个流程打散成一个个的节点,散落在多个地方,对开发和维护非常不利(这个是我们经常用的方案)。
 好,来看协程是如何解决这些问题的:
1)协程的生成成本更低。其实就是一块内存,记录之前的调用的栈信息。你甚至可以通过控制函数调用的层次来进一步降低协程的大小。要生成一个协程,只需要申请一块内存并赋值。
2)切换更快。基本是就是内存的拷贝的速度。
3)没有线程安全问题。一个进程内可以同时存在多个协程,但是只有一个协程是激活的,而且协程的激活和休眠时程序员通过编程来控制,而不是内核来控制的。这样就没有了线程安全问题。
4)可读性更好。相对于IO多路复用来说,你调用的服务接口或者IO接口是异步的,但是你的代码是流畅(顺序)的,并没有被异步和回调打乱。协程也是异步的,但是它会把异步的事件和回调封装起来,形成类似远程调用接口。
 一些资料:
赖勇浩在pycon 2011 china上列举了一个node.js用异步实现的一块代码和Python协程风格的代码很能说明问题:http://www.slideshare.net/laiyonghao/python-webgame-10452102
赖勇浩关于协程的文章非常不错,可以作为参考,可惜没有写完:协程三篇之一(协程初接触)
赖勇浩自己也做了一个机遇Google protocol buffer和Greenlet的远程调用框架abu.rpc,有兴趣的可以参考一下(在写这篇文章之前,还一直没有抽出时间看一下)。
 提供协程机制的编程语言:
现在很多语言都提供协程机制,或者通过第三方模块来实现协程。目前据我所知,支持协程的语言包括:Python,lua,erlang,go,io,ruby,c#等。我甚至还看到一些文章会在c中使用go和switch或者longjmp/setjmp来实现协程,不过很难再实际项目中使用。
 Python的协程实现:
yield可以实现协程。另外,还有很多第三方的版本,比如greenlet。
 协程可以用来做什么?
1)描述逻辑:我主要把协程用来描述逻辑。一个流程可能需要调用多个接口,其中很多接口是异步的。这样描述起来会困难一点。用线程是可以解决部分问题,但是复杂度提升。
2)提高并发:主要应用在IO密集型应用中。gevent就是在greenlet基础之上的一个处理并发的框架,和上面的区别是,这里的事件及接口是IO接口。
 缺陷:
无法使用多核。不过可以通过进程+协程来解决。
 
posted @ 2012-06-21 07:59  常高伟  阅读(10076)  评论(1编辑  收藏