摘要：
一 代码 二 参数详解 custom_settings 1 settings 文件中默认请求头 DEFAULT_REQUEST_HEADERS 2 spider文件中请求头参数 custom_settings 必须以类变量形式存在 优先级别高与全局 必须以类变量形式存在 优先级别高与全局 访问知乎不 阅读全文
posted @ 2019-04-25 23:35
柳帅
阅读(490)
评论(0)
推荐(0)
摘要：
一 配置文件scrapy.cfg 1 全局配置文件路径 盘符: ... \scrapy\scrapy 2 项目配置文件 配置文件的优先级别: 用户定义的配置文件优先级别高于系统范围的默认值. 二 创建醒目的基本命令 三 命令分类 全局命令 startproject #创建项目 genspider # 阅读全文
posted @ 2019-04-25 23:34
柳帅
阅读(155)
评论(0)
推荐(0)
摘要：
一 安装 二 实验要求 目标网站: http://quotes.toscrape.com/tag/humor/ 任务:保存网页信息到本地 二 创建爬虫项目 生成项目的结构 三 创建爬虫文件 使用pycharm打开项目,修改QuotesSpider .py 文件改为 其中 name: 爬虫名字,项目中 阅读全文
posted @ 2019-04-25 23:33
柳帅
阅读(487)
评论(0)
推荐(0)
浙公网安备 33010602011771号