随笔分类 -  python爬虫

摘要：架构概览 本文档介绍了Scrapy架构及其组件之间的交互。 概述 接下来的图表展现了Scrapy的架构，包括组件及在系统中发生的数据流的概览(绿色箭头所示)。 下面对每个组件都做了简单介绍，并给出了详细内容的链接。数据流如下所描述。 概述 接下来的图表展现了Scrapy的架构，包括组件及在系统中发生 阅读全文

摘要：为何要用Beautiful Soup Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式， 是一个标签的形式，来进行查找的，有点像jquery的形式。提升效率，我们在进行爬虫开发的时候，进程会用到正 阅读全文