摘要: 前面跟大家讲的request s和spynner都是单进程(单线程)的顺序抓取,而并发和并行执行的异步抓取会极大地提高抓取效率。 并行和并发 并发和并行使两个相似的概念,并发是指在一个时间段内发生若干事件的情况,并行是指在同一时刻发生若干事件的情况。 我们可以以CPU的工作方式来说明这两个概念 单核 阅读全文
posted @ 2018-04-28 14:40 Loyio 阅读(376) 评论(0) 推荐(0) 编辑

Copyright ©2018 susmote 版权所有

官方博客 www.susmote.com