2017年11月9日
爬虫和性能的关系
摘要： 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高，之所以爬虫程序的串行低效，是因为爬虫 阅读全文
posted @ 2017-11-09 15:24 一锅煮不下 阅读(1056) 评论(0) 推荐(0)