摘要: 一、背景 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,采用串行的方式执行,只能等待爬取一个结束后才能继续下一个,效率会非常低。 注意:串行并不意味着抵消,如果串行的都是纯计算的任务,那么cpu的利用率仍然会很高,之所以爬虫程序的串行低效,是因为爬虫程序是明显的 阅读全文
posted @ 2017-11-09 19:22 Amos丶G 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 一、介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2017-11-09 17:14 Amos丶G 阅读(118) 评论(0) 推荐(0) 编辑