随笔分类 -  python 进程

在爬虫的开发过程中,进程和线程的概念很重要,提高爬虫效率,打造分布式爬虫,都离不开线程和进程的身影,本节主要讲多进程,以及他的一些实际应用,以便在接下来的爬虫开发过程中灵活运用进程.
排序,其他的运用 os fork
摘要：1 while True: 2 str_num = input("Enter number:") 3 4 flag = True 5 dotCount = 0 6 if str_num[0] == '-': 7 str_num_copy = str_num[1:] 8 else: 9 str_num_co... 阅读全文
posted @ 2018-03-22 14:39 Bob__Zhang 阅读(165) 评论(0) 推荐(0)
结合Pool进程池进程,实现进程之间的通讯,稍微复杂的运用
摘要：#进程池中的Queue """ 如果要用Pool创建进程,就需要multiprocessing.Manager()中的Queue() 而不是multiprocessing.Queue() """ from multiprocessing import Manager,Pool import os def write(q): print('writer启动') for ch in... 阅读全文
posted @ 2018-03-22 14:37 Bob__Zhang 阅读(245) 评论(0) 推荐(0)
结合process进程,实现进程之间的通讯Queue,稍微复杂的运用
摘要：#在父进程中创建两个子进程,一个往Queue写数据,一个从Queue里读数据 from multiprocessing import Queue,Process import time,random #往消息队列中写入数据 写入的进程 通过消息队列Queue 作为中间人来实现 def write(q): for value in ["A","B","C","D"]: p... 阅读全文
posted @ 2018-03-22 14:35 Bob__Zhang 阅读(183) 评论(0) 推荐(0)
进程之间的通讯Queue简单应用
摘要：#进程间通讯--Queue #Process有时需要通信的,操作系统提供了很多机制来实现进程之间的通讯 #而Queue就是其中一个 #1.Queue的使用 #可以使用multiprocessing模块下的Queue实现多进程之间的数据传递, #Queue本身就是一个消息队列 from multiprocessing import Queue #每个进程都可以和消息队列对话和拿东西(读取信息... 阅读全文
posted @ 2018-03-22 14:34 Bob__Zhang 阅读(254) 评论(0) 推荐(0)
进程池Pool的简单使用,同步异步的区别
摘要：#进程池 """ 当需要创建子进程数量不多的时候,可以直接利用multiprocessing 中的Process动态生成多个进程,但是如果上百甚至上千个任务, """ from multiprocessing import Pool import os,time,random def download(i): print("(%s)ID号为:%d的进程开始执行"%(i,os.getp... 阅读全文
posted @ 2018-03-22 14:29 Bob__Zhang 阅读(1347) 评论(0) 推荐(0)
继承Process类,另一种方法计算累加和以及阶乘
摘要：#定义一个类 继承Process类 from multiprocessing import Process import os import time class jiecheng(Process): def __init__(self,num): Process.__init__(self) self.num = num #一算一个数的阶乘 ... 阅读全文
posted @ 2018-03-22 14:28 Bob__Zhang 阅读(214) 评论(0) 推荐(0)
继承Process类,计算累加和以及阶乘
摘要：#定义一个类 继承Process类 from multiprocessing import Process import os class Download(Process): def __init__(self,num): Process.__init__(self) self.num = num # print(type(self.nu... 阅读全文
posted @ 2018-03-22 14:26 Bob__Zhang 阅读(258) 评论(0) 推荐(0)
继承Process类,run函数的简单使用
摘要：#定义一个类 继承Process类 from multiprocessing import Process import os import time class Download(Process): def __init__(self,interval): Process.__init__(self) self.interval = interval ... 阅读全文
posted @ 2018-03-22 14:24 Bob__Zhang 阅读(1524) 评论(0) 推荐(0)
multiprocessing的Process类的简单使用
摘要：''' 跨平台的进程创建模块(multiprocessing) 支持跨平台 :window/linux multiprocessing提供一个Process类来代表一个进程对象 ''' from multiprocessing import Process import os def download(filename,type,**kwargs): #这里是子进程的id Ret... 阅读全文
posted @ 2018-03-22 14:23 Bob__Zhang 阅读(6120) 评论(0) 推荐(0)