_小溢

2018年10月23日

摘要： # 使用进程池的进程爬取网页内容，使用回调函数处理数据，用到了正则表达式和re模块 import re from urllib.request import urlopen from multiprocessing import Pool def get_page(url,pattern): response=urlopen(url).read().decode('utf-8') ... 阅读全文

posted @ 2018-10-23 21:20 _小溢阅读(171) 评论(0) 推荐(0)

使用进程池模拟多进程爬取url获取数据，使用进程绑定的回调函数去处理数据

摘要：回调函数：一般应用在进程的任务有延时，而要处理的数据时间的很短时，将进程的任务和回调函数绑定起来，将任务获取到的数据返回给回调函数，由回调函数处理数据，回调函数是在主进程中得以执行的阅读全文

posted @ 2018-10-23 21:00 _小溢阅读(372) 评论(0) 推荐(0)

ImportError: No module named 'chardet'

摘要： 1.使用requsets出现这个错误，ImportError: No module named 'chardet' 原因：requests依赖其他一些模块解决：依次使用pip安装即可 pip install certifi pip install chardet pip install idna 阅读全文

posted @ 2018-10-23 20:34 _小溢阅读(15316) 评论(0) 推荐(1)

Fatal error in launcher: Unable to create process using '"'

摘要： 1.cmd上运行pip后，出现这个 Fatal error in launcher: Unable to create process using '"' 原因：计算机的环境变量中找不到python，找不到pip。肯定是之前装过很多个python版本造成的。解决：path环境变量中python.e 阅读全文

posted @ 2018-10-23 20:19 _小溢阅读(340) 评论(0) 推荐(0)

2018年10月22日

进程池中的回调函数

摘要：一般在爬虫中，用到回调函数比较多，并且是将访问网页、下载网页的过程放到子进程中去做，分析数据，处理数据让回调函数去做，因为访问网页与下载网页有网络延时，而处理数据只占用很小的时间阅读全文

posted @ 2018-10-22 21:34 _小溢阅读(423) 评论(0) 推荐(0)

进程池的返回值

摘要： # import time # from multiprocessing import Pool # # def func(i): # time.sleep(1) # return i * i # # # if __name__ == '__main__': # pool = Pool(4) # # for i in range(10): # re... 阅读全文

posted @ 2018-10-22 21:21 _小溢阅读(689) 评论(0) 推荐(0)

2018年10月21日

进程池

摘要： 1.进程池1 2.进程池阅读全文

posted @ 2018-10-21 16:25 _小溢阅读(272) 评论(0) 推荐(0)

管道实现生产者消费者模型

摘要： # 管道实现生产者消费者模型 # # 应该特别注意管道端点的正确管理问题，如果是生产者或消费者中都没有使用管道的端点就应该将它关闭 # 这也说明了为何在生产者中关闭了管道的输出端，在消费者中关闭管道的输入端。如果忘记执行这个步骤 # 程序可能在消费者中的recv()操作上挂起。管道是由操作系统进行引用计数的，必须在所有进程中关闭管道 # 后才能生成EoFEroor... 阅读全文

posted @ 2018-10-21 15:24 _小溢阅读(853) 评论(0) 推荐(0)

进程间的数据共享

摘要： # 以后我们会尝试使用数据库类解决现在进程之间的数据共享问题 # multiprocessing.Manager模块，是数据共享用的模块，共享的数据存在数据不安全问题，需要加锁操作 # from multiprocessing import Manager, Process # # # def process1(dic): # dic['count'] = 5 # pri... 阅读全文

posted @ 2018-10-21 15:24 _小溢阅读(227) 评论(0) 推荐(0)

管道

摘要： # 管道 # 一根管子，双向通信，拿到管道的两端，一端传输的数据会传输到另一端 # from multiprocessing import Pipe,Process # # # # # # def func(conn): # # while True: # # print(conn.recv()) # 当管道没有数据时，接收这里会阻塞住 # # # # #... 阅读全文

posted @ 2018-10-21 15:23 _小溢阅读(194) 评论(0) 推荐(0)

公告