随笔分类 -  python爬虫

摘要:廖雪峰老师的博客 https://www.cnblogs.com/linhaifeng/articles/6182264.html#_lable9 阅读全文
posted @ 2020-09-21 20:02 wind_y 阅读(153) 评论(0) 推荐(0)
摘要:以下均需cd到具体目录下执行 1. 创建项目:scrapy startproject [项目名] 2. 生成爬虫:scrapy genspider +文件名+网址 也就是命令行生成zufang_spider.py文件 例如: scrapy genspider maitian maitian.com 阅读全文
posted @ 2020-04-29 18:54 wind_y 阅读(137) 评论(0) 推荐(0)
摘要:1. 打开cmd 2. 想将项目放在C:\python\PycharmProjects\scrapy_demo文件夹下,cd到该目录下 3. 输入创建项目命令:scrapy startproject project_name 4. 使用pycharm打开项目所在目录 5. 文件说明 items.py 阅读全文
posted @ 2020-04-22 13:23 wind_y 阅读(221) 评论(0) 推荐(0)
摘要:scrapy的架构图: engine:引擎:控制数据流的流向 四大组件: scheduler:调度器:处理requests,排队再返回给engine downloader:下载器:把requests变为response再返回给engine spiders:爬虫:解析response变为items/r 阅读全文
posted @ 2020-04-21 21:30 wind_y 阅读(179) 评论(0) 推荐(0)