摘要：Semphore，是一种带计数的线程同步机制，当调用release时，增加计数，当acquire时，减少计数，当计数为0时，自动阻塞，等待release被调用。 指定数量的线程同时运行 # Semaphore 是用于控制进入数量的锁 # 文件， 读、写， 写一般只是用于一个线程写，读可以允许有多个 阅读全文

摘要：Python提供的Condition对象提供了对复杂线程同步问题的支持。 Condition被称为条件变量，除了提供与Lock类似的acquire和release方法外，还提供了wait和notify方法。 Condition的处理流程如下： 首先acquire一个条件变量，然后判断一些条件。 如果 阅读全文

摘要：1. 概述 concurrent.futures 是 3.2 中引入的新模块，它为异步执行可调用对象提供了高层接口。可以使用 ThreadPoolExecutor 来进行多线程编程，ProcessPoolExecutor 进行多进程编程，两者实现了同样的接口，这些接口由抽象类 Executor 定义 阅读全文

摘要：1 协程 1.1协程的概念 协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。（其实并没有说明白~） 我觉得单说协程，比较抽象，如果对线程有一定了解的话，应该就比较好理解了。 那么这么来理解协程比较容易： 线程是系统级别的，它们是由操作系统调度；协 阅读全文

摘要：import paramiko, threading import queue import pymysql class ThreadPool(object): def __init__(self, maxsize): self.maxsize = maxsize self._q = queue.Queue(self.maxsize) ... 阅读全文

摘要：资源总是有限的，程序运行如果对同一个对象进行操作，则有可能造成资源的争用，甚至导致死锁 也可能导致读写混乱 锁提供如下方法： 1.Lock.acquire([blocking]) 2.Lock.release() 3.threading.Lock() 加载线程的锁对象，是一个基本的锁对象，一次只能一 阅读全文

摘要：多线程-共享全局变量 运行结果: 列表当做实参传递到线程中 运行结果: 总结： 在一个进程内的所有线程共享全局变量，能够在不适用其他方式的前提下完成多线程之间的数据共享（这点要比多进程要好） 缺点就是，线程是对全局变量随意遂改可能造成多线程之间对全局变量的混乱（即线程非安全） 阅读全文

摘要：多线程-threading python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用 1. 使用threading模块 单线程执行 运行结果： 多线程执行 运行结果： 说明 2. 主线程会等待所有的子线程结束后才结束 3 阅读全文

摘要：import pymysql import urllib3 from lxml import etree import logging import requests import queue import time import threading from threading import RL 阅读全文

摘要：进程间通信-Queue Process之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。 1. Queue的使用 可以使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序，首先用一个小实例来演示一下Queue的工作原理： 运行结果: 阅读全文

摘要：进程池Pool 当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。 初始化Pool时，可以指定一个最大进程数，当有新 阅读全文

摘要：创建新的进程还能够使用类的方式，可以自定义一个类，继承Process类，每次实例化这个类的时候，就等同于实例化一个进程对象，请看下面的实例： 阅读全文

摘要：multiprocessing 如果你打算编写多进程的服务程序，Unix/Linux无疑是正确的选择。由于Windows没有fork调用，难道在Windows上无法用Python编写多进程的程序？ 由于Python是跨平台的，自然也应该提供一个跨平台的多进程支持。multiprocessing模块就 阅读全文