摘要： 一、简单爬虫框架 简单爬虫框架由四个部分组成：URL管理器、网页下载器、网页解析器、调度器，还有应用这一部分，应用主要是NLP配合相关业务。 它的基本逻辑是这样的：给定一个要访问的URL，获取这个html及内容（也可以获取head和cookie等其它信息），获取html中的某一类链接，如a标签的hr 阅读全文