随笔分类 - 线程／进程／协程
摘要：在批评Python的讨论中，常常说起Python多线程是多么的难用。还有人对 global interpreter lock(也被亲切的称为“GIL”)指指点点，说它阻碍了Python的多线程程序同时运行。因此，如果你是从其他语言（比如C++或Java）转过来的话，Python线程模块并不会像你想象
阅读全文
摘要：多进程概要： 在Unix/Linux下，可以使用fork()调用实现多进程。 要实现跨平台的多进程，可以使用multiprocessing模块。 进程间通信是通过Queue、Pipes等实现的。 要让Python程序实现多进程（multiprocessing），我们先了解操作系统的相关知识。 Uni
阅读全文
摘要：import re import requests import threading import time from time import ctime,sleep from queue import Queue keywords_a=[ 'ELPLP80', 'ELPLP23', 'ELPLP29', 'NP14LP', 'POA-LMP126...
阅读全文
摘要：单线程爬虫： 输出：00:25:33开始，00:26:02结束 耗时29秒 多线程：00：32:37开始00:32:39结束 耗时2秒 输出：
阅读全文
摘要：gevent是Python的一个用于网络IO的函数库，其中应用到了 coroutine(协同程序) 的思想。首先来了解下目前网络框架的几种基本的网络I/O模型： 阻塞式单线程：这是最基本的I/O模型，只有在处理完一个请求之后才会处理下一个请求。它的缺点是效能差，如果有请求阻塞住，会让服务无法继续接受
阅读全文
摘要：1、基本概念 IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。IO多路复用适用如下场合： （1）当客户处理多个描述字时（一般是交互式输入和网络套接口），必须使用I/O复用。 （2）当一个客户同时处理多个套接口时，而这种情况是可能的，但很少出现。 （3）如果一个TC
阅读全文
摘要：select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说
阅读全文
摘要：1 关于greenlet greelet指的是使用一个任务调度器和一些生成器或者协程实现协作式用户空间多线程的一种伪并发机制，即所谓的微线程。 greelet机制的主要思想是：生成器函数或者协程函数中的yield语句挂起函数的执行，直到稍后使用next()或send()操作进行恢复为止。可以使用一个
阅读全文
摘要：并发处理的技术背景 并行化处理目前很受重视， 因为在很多时候，并行计算能大大的提高系统吞吐量，尤其在现在多核多处理器的时代， 所以像lisp这种古老的语言又被人们重新拿了起来， 函数式编程也越来越流行。 介绍一个python的并行处理的一个库： greenlet。 python 有一个非常有名的库叫
阅读全文
摘要：我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 如果用多进程实现M
阅读全文
摘要：协程，又称微线程，纤程。英文名Coroutine。单进程的异步编程模型称为协程，有了协程的支持，就可以基于事件驱动编写高效的多任务程序 协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。 子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用
阅读全文
摘要：在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，10几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，这时候
阅读全文
摘要：GIL(全局解释器锁) 我们知道多进程(mutilprocess) 和 多线程(threading)的目的是用来被多颗CPU进行访问, 提高程序的执行效率。 但是在python内部存在一种机制（GIL），在多线程 时同一时刻只允许一个线程来访问CPU。 GIL 并不是Python的特性，它是在实现P
阅读全文
摘要：计算机的核心是CPU，它承担了所有的计算任务。它就像一座工厂，时刻在运行。 2. 假定工厂的电力有限，一次只能供给一个车间使用。也就是说，一个车间开工的时候，其他车间都必须停工。背后的含义就是，单个CPU一次只能运行一个任务。 3. 进程就好比工厂的车间，它代表CPU所能处理的单个任务。任一时刻，C
阅读全文
摘要：创建进程的类：Process([group [, target [, name [, args [, kwargs]]]]])，target表示调用对象，args表示调用对象的位置参数元组。kwargs表示调用对象的字典。name为别名。group实质上不使用。方法：is_alive()、join(
阅读全文
摘要：python线程的事件用于主线程控制其他线程的执行，事件主要提供了三个方法wait、clear、set 事件处理的机制：全局定义了一个“Flag”，如果“Flag”值为 False，那么当程序执行 event.wait 方法时就会阻塞，如果“Flag”值为True，那么event.wait 方法时便
阅读全文
摘要：python的锁可以独立提取出来 概念 好几个人问我给资源加锁是怎么回事，其实并不是给资源加锁, 而是用锁去锁定资源，你可以定义多个锁, 像下面的代码, 当你需要独占某一资源时，任何一个锁都可以锁这个资源 就好比你用不同的锁都可以把相同的一个门锁住是一个道理 线程不安全: 最普通的一个多线程小例子。
阅读全文
摘要：Python多线程编程时，经常会用到join()和setDaemon()方法，今天特地研究了一下两者的区别。 1、join ()方法：主线程A中，创建了子线程B，并且在主线程A中调用了B.join()，那么，主线程A会在调用的地方等待，直到子线程B完成操作后，才可以接着往下执行，那么在调用这个线程时
阅读全文
摘要：多线程 科技在发展，时代在进步，我们的CPU也越来越快，CPU抱怨，P大点事儿占了我一定的时间，其实我同时干多个活都没问题的；于是，操作系统就进入了多任务时代。我们听着音乐吃着火锅的不在是梦想。 python提供了两个模块来实现多线程thread 和threading ，thread 有一些缺点，在
阅读全文
摘要：Join的作用是众所周知的，阻塞进程直到线程执行完毕 这个小程序使用了两个线程thread1和thread2，线程执行的动作分别是doWaiting()和doWaiting1()，函数体就是打印「开始」+休眠3秒+打印「结束」，分别附加上时间用来查看程序执行的过程。后面用start()方法同步开始执
阅读全文
浙公网安备 33010602011771号