随笔分类 -  Scrapy

摘要：# python大数据开发 ## scrapy框架 ### 架构 - Scrapy Engine(引: 负责Spider、ltemPipeline、 Downloader、Scheduler中间的通讯，信号、数据传递等 - Scheduler(调度器):它负责接受引擎发送过来的Request请求，并 阅读全文

摘要：import shutil,os修改settings.py def config(scrapy_path,project_name): judge=input("是否自动修改配置?是：yes|y 否：no|n\n请选择:") if judge=='yes'or judge=='y'or judge= 阅读全文

摘要：一.安装scrapy环境 -mac或linux：pip install scrapy -windows： 1.pip install wheel 2.pip install twinsted 3.pip install pywin32 4.pip install scrapy 二.创建工程 1.进入 阅读全文