2019 年 9月 22 日随笔档案 - 潇潇六月雨

2019年9月22日

摘要： scrapy结构图： scrapy组件： ENGINE：引擎，框架的核心，其它所有组件在其控制下协同工作。 SCHEDULER：调度器，负责对SPIDER提交的下载请求进行调度。 DOWNLOADER：下载器，负责下载页面（发送HTTP请求/接收HTTP响应）。 SPIDER：爬虫，负责提取页面中的阅读全文

posted @ 2019-09-22 12:20 潇潇六月雨阅读(263) 评论(0) 推荐(0)

Scrapy框架的基本组成及功能使用

摘要： 1.什么是scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。框架的本质就是集成各种功能、具有很强通用性的项目模板。 2.安装 Linux： pip3 install scrapy Windows：》见Twisted安装 a. pip3 install wheel 阅读全文

posted @ 2019-09-22 12:13 潇潇六月雨阅读(466) 评论(0) 推荐(0)