摘要：
阅读目录 一.操作系统基础 二.网络通信原理 2.1 互联网的本质就是一系列的网络协议 2.2 osi七层协议 2.3 tcp/ip五层模型讲解 2.3.1 物理层 2.3.2 数据链路层 2.3.3 网络层 2.3.4 传输层 2.3.5 应用层 2.3.6 socket 三.网络通信实现 四.结 阅读全文
posted @ 2019-04-08 17:08
￣□￣
阅读(1820)
评论(0)
推荐(1)
摘要：
目录 一. 什么是RESTful 二. RESTful API设计 三. 基于Django实现 四. 基于Django Rest Framework框架实现 1. 基本流程 2. 认证和授权 3. 用户访问次数/频率限制 4. 版本 5. 解析器（parser） 6. 序列化 7. 分页 8. 路由 阅读全文
posted @ 2019-04-02 10:39
￣□￣
阅读(285)
评论(0)
推荐(0)
摘要：
Python list内置sort()方法用来排序，也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。 1）排序基础 简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一个新的list，新的list的元素基于小于运算符(__lt__)来排序。 复制代 阅读全文
posted @ 2019-03-30 17:13
￣□￣
阅读(279)
评论(0)
推荐(0)
摘要：
redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据 阅读全文
posted @ 2019-03-25 19:25
￣□￣
阅读(133)
评论(0)
推荐(0)
摘要：
增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更 阅读全文
posted @ 2019-03-25 19:25
￣□￣
阅读(314)
评论(0)
推荐(0)
摘要：
引入 提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 今日概要 CrawlSpide 阅读全文
posted @ 2019-03-25 19:24
￣□￣
阅读(155)
评论(0)
推荐(0)
摘要：
引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取 阅读全文
posted @ 2019-03-25 19:24
￣□￣
阅读(172)
评论(0)
推荐(0)
摘要：
今日概要 scrapy下载中间件 UA池 代理池 今日详情 一.下载中间件 先祭出框架图： 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 阅读全文
posted @ 2019-03-25 19:23
￣□￣
阅读(217)
评论(0)
推荐(0)
摘要：
需求：爬取https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html页面中的新闻数据。 分析： 1.首先通过分析页面会发现该页面中的新闻数据都是动态加载出来的，并且通过抓包工具 阅读全文
posted @ 2019-03-25 19:22
￣□￣
阅读(252)
评论(0)
推荐(0)
摘要：
今日概要 日志等级 请求传参 如何提高scrapy的爬取效率 今日详情 一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 I 阅读全文
posted @ 2019-03-22 17:39
￣□￣
阅读(170)
评论(0)
推荐(0)
浙公网安备 33010602011771号