随笔分类 -  爬虫

摘要：创建爬虫工程 完整项目结构 表结构 CREATE TABLE ( varchar(200) NOT NULL, date DEFAULT NULL, varchar(300) NOT NULL, varchar(50) NOT NULL, varchar(300) DEFAULT NULL, var 阅读全文

摘要：运行流程 官网：https://docs.scrapy.org/en/latest/intro/overview.html 流程图如下： 组件 1、引擎(EGINE)：负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分； 2、调度器(SCHEDULER 阅读全文