JintaoMA

摘要：日元大幅高开回落空间阅读全文

posted @ 2019-03-27 21:19 JintaoMA 阅读(102) 评论(0) 推荐(0)

摘要：目录 Scrapy 一、安装二、基本使用 1. 基本命令 2.项目结构以及爬虫应用简介 3. 小试牛刀 4. 选择器 5. 格式化处理 6.中间件 7. 自定制命令 8. 自定义扩展 9. 避免重复访问 10.其他 11.TinyScrapy scrapy-redis组件 1. URL去重 2. 阅读全文

posted @ 2019-03-27 09:57 JintaoMA 阅读(348) 评论(0) 推荐(0)

爬虫案例(js动态生成数据)

摘要：需求：爬取https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html页面中的新闻数据。分析： 1.首先通过分析页面会发现该页面中的新闻数据都是动态加载出来的，并且通过抓包工具阅读全文

posted @ 2019-03-26 16:22 JintaoMA 阅读(657) 评论(0) 推荐(0)

UA池和代理池

摘要： scrapy下载中间件 UA池代理池一.下载中间件先祭出框架图：下载中间件（Downloader Middlewares）位于scrapy引擎和下载器之间的一层组件。 - 作用：（1）引擎将请求传递给下载器过程中，下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent 阅读全文

posted @ 2019-03-26 08:43 JintaoMA 阅读(345) 评论(0) 推荐(0)

增量式爬虫(简易)

摘要：增量式爬虫引言：当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更阅读全文

posted @ 2019-03-25 12:47 JintaoMA 阅读(460) 评论(0) 推荐(0)

基于scrapy-redis分布式爬虫(简易)

摘要： redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器）其二：多台机器爬取到的数据无法通过同一个管道对数据阅读全文

posted @ 2019-03-25 09:44 JintaoMA 阅读(431) 评论(1) 推荐(0)

全栈爬取-Scrapy框架(CrawlSpider)

摘要：引入提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。概要 CrawlSpider简阅读全文

posted @ 2019-03-24 23:28 JintaoMA 阅读(456) 评论(0) 推荐(0)

scrapy中selenium的应用

摘要：引入在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取阅读全文

posted @ 2019-03-24 17:55 JintaoMA 阅读(142) 评论(0) 推荐(0)

scrapy框架的日志等级和请求传参

摘要：日志等级请求传参如何提高scrapy的爬取效率一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ：一般错误 WARNING : 警告 INFO : 一般的信阅读全文

posted @ 2019-03-23 20:08 JintaoMA 阅读(158) 评论(0) 推荐(0)

scrapy框架之递归解析和post请求

摘要：递归爬取解析多页页面数据 scrapy核心组件工作流程 scrapy的post请求发送 1.递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应阅读全文

posted @ 2019-03-22 19:27 JintaoMA 阅读(122) 评论(0) 推荐(0)

公告

导航