爬虫
摘要:beautifulSoup模块的基本用法 单进程和并发爬取网站比较 requests模块 beautiful soup 基本用法 爬虫使用并发提高效率 1.同步调用,不使用并发 2.使用多进程(线程) 3.使用进程池(线程池) 4.使用asyncio模块,可以帮我们检测IO(只能是网络IO),实现应
阅读全文
posted @ 2018-08-17 15:18
posted @ 2018-08-17 15:18
posted @ 2018-08-08 20:23