摘要：
爬虫 ==> 高性能 阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串 阅读全文
posted @ 2018-01-22 21:07
Aray007
阅读(126)
评论(0)
推荐(0)
摘要：
爬虫 ==》 同步调用 import requests def parse_page(res): print('PARSE %s' %(len(res))) def get_page(url): print('GET %s' %url) response=requests.get(url) if r 阅读全文
posted @ 2018-01-22 19:07
Aray007
阅读(190)
评论(0)
推荐(0)
摘要：
asyncio模块 阅读全文
posted @ 2018-01-22 19:05
Aray007
阅读(142)
评论(0)
推荐(0)
浙公网安备 33010602011771号