摘要:
前面跟大家讲的request s和spynner都是单进程(单线程)的顺序抓取,而并发和并行执行的异步抓取会极大地提高抓取效率。 并行和并发 并发和并行使两个相似的概念,并发是指在一个时间段内发生若干事件的情况,并行是指在同一时刻发生若干事件的情况。 我们可以以CPU的工作方式来说明这两个概念 单核 阅读全文
posted @ 2018-04-28 14:40
Loyio
阅读(390)
评论(0)
推荐(0)
Copyright ©2018 susmote 版权所有
官方博客 www.susmote.com