一颗桃子t

摘要： Django Rest Framework 一. 什么是RESTful REST与技术无关，代表的是一种软件架构风格，REST是Representational State Transfer的简称，中文翻译为“表征状态转移” REST从资源的角度类审视整个网络，它将分布在网络中某个节点的资源通过UR 阅读全文

摘要： 入门篇 vue.js是目前前端web开发最流行的工具库，由尤雨溪在2014年2月发布的。 另外几个常见的工具库：react.js /angular.js 官方网站： 中文：https://cn.vuejs.org/ 英文：https://vuejs.org/ 官方文档：https://cn.vuej 阅读全文

摘要： CSRF Token相关装饰器在CBV只能加到dispatch方法上 备注： 1. csrf_protect，为当前函数强制设置防跨站请求伪造功能，即便settings中没有设置全局中间件。 2. csrf_exempt，取消当前函数防跨站请求伪造功能，即便settings中设置了全局中间件 fro 阅读全文

摘要： Django Rest Framework 目录 一. 什么是RESTful 二. RESTful API设计 三. 基于Django实现 四. 基于Django Rest Framework框架实现 1. 基本流程 2. 认证和授权 3. 用户访问次数/频率限制 4. 版本 5. 解析器（pars 阅读全文

摘要： 1、Redis中key的的过期时间 通过EXPIRE key seconds命令来设置数据的过期时间。返回1表明设置成功，返回0表明key不存在或者不能成功设置过期时间。在key上设置了过期时间后key将在指定的秒数后被自动删除。被指定了过期时间的key在Redis中被称为是不稳定的。 当key被D 阅读全文

摘要： 概述 概念：监测 核心技术：去重 基于 redis 的一个去重 适合使用增量式的网站： 基于深度爬取的 对爬取过的页面url进行一个记录（记录表） 基于非深度爬取的 记录表：爬取过的数据对应的数据指纹 数据指纹：原始数据的一组唯一标识 数据 –> 数据指纹 –> 库中查询 hashlib 所谓的记录 阅读全文

摘要： 概述 什么是分布式爬虫 需要搭建一个由n台电脑组成的机群，然后在每一台电脑中执行同一组程序，让其对同一网络资源进行联合且分布的数据爬取。 原生Scrapy无法实现分布式的原因 原生Scrapy中调度器不可以被共享 每一台机器都拥有一个调度器，如果一个机群共享一个调度器就可以了。 原生Scrapy中管 阅读全文

摘要： 引言 本篇介绍Crawlspider，相比于Spider，Crawlspider更适用于批量爬取网页 Crawlspider Crawlspider适用于对网站爬取批量网页，相对比Spider类，CrawSpider主要使用规则（rules）来提取链接，通过定义一组规则为跟踪链接提供了遍历的机制。 阅读全文

摘要： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 scrapy 框架 高性能的网络请求 高性能的数据解析 高性能的持久化存储 深度爬取 全站爬取 分布式 中间件 请求传参 环境的安装 mac/linux：pip i 阅读全文

摘要： 本篇介绍基于asyncio模块，实现单线程-多任务的异步协程 基本概念 协程函数 协程函数: 定义形式为 async def 的函数; aysnc 在Python3.5+版本新增了aysnc和await关键字，这两个语法糖让我们非常方便地定义和使用协程。 如果一个函数的定义被async修饰后，则该函 阅读全文