摘要：
线程案例：爬取斗图吧表情包图片 方案一：单线程版本 耗时慢 import requests from fake_useragent import UserAgent import random from lxml import etree import os import time # 伪装UA f 阅读全文
posted @ 2023-03-15 13:00
Chimengmeng
阅读(51)
评论(0)
推荐(0)
摘要：
并发爬虫三、多进程实现 由于GIL的存在，python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。 multiprocessing包是Python中的多进程管理包。 与threading.Thread类似，它可以利用multipro 阅读全文
posted @ 2023-03-15 12:52
Chimengmeng
阅读(18)
评论(0)
推荐(0)
摘要：
并发爬虫二、多线程实现 【1】threading模块 Python提供两个模块进行多线程的操作，分别是thread和threading，前者是比较低级的模块，用于更底层的操作，一般应用级别的开发不常用。 import time def foo(): print("foo start...") tim 阅读全文
posted @ 2023-03-15 12:51
Chimengmeng
阅读(43)
评论(0)
推荐(0)
摘要：
并发爬虫一、进程、线程以及协程 1. 并发与并行 2. IO密集型任务和计算密集型任务 3. 同步与异步 4. IO模型（IO多路复用） 5. 内核态多线程，用户态多线程 所谓并发编程是指在一台处理器上“同时”处理多个任务。并发是在同一实体上的多个事件。 强调多个事件在同一时间间隔发生 【1】进程概 阅读全文
posted @ 2023-03-15 12:50
Chimengmeng
阅读(61)
评论(0)
推荐(0)
浙公网安备 33010602011771号