随笔分类 -  python

实现多进程爬虫的数据抓取
摘要：要实现多进程爬虫的数据抓取，要用到库multiprocessing并导入Pool: 接着导入进程池 所有的程序会被放到进程池Pool()中并分配CPU。 此处用到了map函数，map函数会根据提供的函数对指定序列做映射。第一个参数 function 以参数序列中的每一个元素调用 function 函 阅读全文
posted @ 2017-11-10 09:59 SeverusZ 阅读(963) 评论(0) 推荐(0)