随笔分类 - python爬虫
摘要:廖雪峰老师的博客 https://www.cnblogs.com/linhaifeng/articles/6182264.html#_lable9
阅读全文
摘要:以下均需cd到具体目录下执行 1. 创建项目:scrapy startproject [项目名] 2. 生成爬虫:scrapy genspider +文件名+网址 也就是命令行生成zufang_spider.py文件 例如: scrapy genspider maitian maitian.com
阅读全文
摘要:1. 打开cmd 2. 想将项目放在C:\python\PycharmProjects\scrapy_demo文件夹下,cd到该目录下 3. 输入创建项目命令:scrapy startproject project_name 4. 使用pycharm打开项目所在目录 5. 文件说明 items.py
阅读全文
摘要:scrapy的架构图: engine:引擎:控制数据流的流向 四大组件: scheduler:调度器:处理requests,排队再返回给engine downloader:下载器:把requests变为response再返回给engine spiders:爬虫:解析response变为items/r
阅读全文

浙公网安备 33010602011771号