随笔分类 -  爬虫

scrapy框架 小知识
摘要：持久化 去重规则 深度 cookie start_url 深度和优先级 下载中间件 持久化 去重规则 深度 cookie start_url 深度和优先级 下载中间件 持久化 步骤 编写pipeline 注意：pipeline是所有爬虫公用，如果想要给某个爬虫定制需要使用spider参数自己进行处理 阅读全文
posted @ 2018-10-10 18:09 高~雅 阅读(401) 评论(0) 推荐(0)
爬虫 之 scrapy-redis组件
摘要：scrapy-redis组件 scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 基于scrap 阅读全文
posted @ 2018-07-26 19:00 高~雅 阅读(318) 评论(0) 推荐(0)
爬虫 之 scrapy框架
摘要：浏览目录 介绍 安装 项目结构及爬虫应用简介 常用命令行工具 Spiders爬虫 Selectors选择器 Item Pipeline 项目管道 Downloader Middleware下载中间件 Spider Middleware爬虫中间件 自定制命令 自定义扩展 settings.py 介绍 阅读全文
posted @ 2018-07-22 11:17 高~雅 阅读(445) 评论(0) 推荐(0)
轮询与长轮询
摘要：轮询 通过定时器每隔多少秒发送一次请求。 <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <title>Title</title> <meta name="viewport" content="width=devic 阅读全文
posted @ 2018-07-03 15:18 高~雅 阅读(1168) 评论(0) 推荐(0)