随笔分类 - Python并发编程
摘要：blocking和non-blocking的区别在哪，synchronous IO和asynchronous IO的区别在哪。 blocking vs non-blocking：调用blocking IO会一直block住对应的进程直到操作完成，而non-blocking IO在kernel还准备数
阅读全文
摘要：异步IO(Asynchronous I/O) Linux下的asynchronous IO其实用得不多，从内核2.6版本才开始引入。先看一下它的流程： 用户进程发起read操作之后，立刻就可以开始去做其它的事。而另一方面，从kernel的角度，当它受到一个asynchronous read之后，首先
阅读全文
摘要：多路复用IO(IO multiplexing) O multiplexing这个词可能有点陌生，但是如果我说select/epoll，大概就都能明白了。有些地方也称这种IO方式为事件驱动IO (event driven IO)。我们都知道，select/epoll的好处就在于单个process就可以
阅读全文
摘要：非阻塞IO（non-blocking IO） Linux下，可以通过设置socket使其变为non-blocking，当对一个non-blocking socket执行读操作时，流程是这个样子 从图中可以看出，当用户进程发出read操作时，如果kernel中的数据还没有准备好，那么它并不会block
阅读全文
摘要：阻塞IO（blocking IO） 在Linux中，默认情况下所有的socket都是blocking，一个典型的读操作流程大概是这样： 当用户进程调用了recvfrom这个系统调用，kernel就开始了IO的第一个阶段：准备数据。对于network io来说，很多时候数据在一开始还没有到达（比如，还
阅读全文
摘要：一 IO模型 二 network IO 再说一下IO发生时涉及的对象和步骤。对于一个network IO \(这里我们以read举例\)，它会涉及到两个系统对象，一个是调用这个IO的process \(or thread\)，另一个就是系统内核\(kernel\)。当一个read操作发生时，该操作会
阅读全文
摘要：一 gevent模块 Gevent是一个第三方库，可以轻松通过gevent实现并发同步或异步编程。在gevent中用到的主要模式是Greenlet，它是以C扩展模块形式接入Python的轻量级协程。Greenlet 全部运行在主程序操作系统进程的内部，但它们被协作式地调度。 遇到IO阻塞时会自动切换
阅读全文
摘要：一 greenlet模块 如果我们在单个线程内有20个任务，要想实现在多个任务之间切换，使用yield生成器的方式过于麻烦（需要先得到初始化一次的生成器，然后再调用send。。。非常麻烦），而使用greenlet模块可以非常简单地实现这20个任务直接的切换 单纯的切换（在没有io的情况下或者没有重复
阅读全文
摘要：一 引子 一：其中第二种情况并不能提升效率，只是让CPU能够雨露均沾，实现看起来所有任务都被“同时”执行的效果，如果多个任务都是纯计算的，这种切换反而会降低效率。为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法，我们来简单复习一下： 单纯地切换反而会降低运
阅读全文
摘要：一 进程池与线程池 基于多进程或多线程实现并发的套接字通信，这样的实现方式存在的缺陷是：服务开启的进程数或线程数都会随着并发的客户端数目的增多而增多，这会对服务端主机带来巨大的压力，甚至于不堪重负而瘫痪，于是我们必须对服务端开启的进程数或线程数加以控制，让机器在一个自己可以承受的范围内运行，这就是进
阅读全文
摘要：一 线程queue 有三种不同的用法 class queue.Queue(maxsize=0) # 队列：先进先出 class queue.LifoQueue(maxsize=0) # 堆栈：后进先出 class queue.PriorityQueue(maxsize=0) #优先级队列：存储数据时
阅读全文
摘要：一 信号量 信号量也是一把锁，可以指定信号量为5，对比互斥锁同一时间只能有一个任务抢到锁去执行，信号量同一时间可以有5个任务拿到锁去执行，如果说互斥锁是合租房屋的人去抢一个厕所，那么信号量就相当于一群路人争抢公共厕所，公共厕所所有多个坑位，这意味着同一时间可以有多个人上公共厕所，但公共厕所容纳的人数
阅读全文
摘要：一 死锁现象 所谓死锁：是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程，如下就是死锁 执行效果 二 递归锁 解决方法，递归锁，在Python中为了支持在
阅读全文
摘要：一 引子 在一个Python的进程内，不仅有test.py的主线程或者由该主线程开启的其它线程，还有解释器开启的垃圾回收等解释器级别的线程，总之，所有线程都运行在一个进程内 综上： 如果多个线程的target=work，那么执行流程是： 多个线程先访问到解释器的代码，即拿到执行权限，然后将targe
阅读全文
摘要：一 守护线程 无论是进程还是线程，都遵循：守护XXX会等待主XXX运行完毕后被销毁 需要强调的是：运行完毕并非终止运行 详细解释： 验证 执行结果 二 练习 输出：
阅读全文
摘要：Thread对象的其它属性或方法 介绍： 验证 执行结果 主线程等待子线程结束 执行结果
阅读全文
摘要：一 谁的开启速度快 1. 在主进程下开启线程 执行结果如下：几乎是t.start()的同时就将线程开启了，然后先打印出了hello，证明线程的创建开销极小 2、在主进程下开启子进程 执行结果如下：p.start()将开启进程的信号发给操作系统后，操作系统要申请内存空间，让好拷贝父进程地址空间到子进程
阅读全文
摘要：一 threading模块介绍 multiprocess模块完全模仿了threading模块的接口，二者在使用层面，有很大的相似性 二 开启线程的两种方式 方式一 方式二 三 练习题 1、基于多线程实现并发的套接字通信 客户端： 服务端：
阅读全文
摘要：一 什么是线程 在传统操作系统中，每个进程有一个地址空间，而且默认就有一个控制线程 线程顾名思义，就是一条流水线工作的过程（流水线的工作需要电源，电源就相当于CPU），而一条流水线必须属于一个车间，一个车间的工作过程是一个进程，车间负责把资源整合到一起，是一个资源单位，而一个车间内至少有一条流水线。
阅读全文
摘要：一 生产者消费者模型介绍 为什么要使用生产者消费者模型 生产者指的是生产数据的任务，消费者指的是处理数据的任务，在并发编程中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了
阅读全文
浙公网安备 33010602011771号