上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 21 下一页
摘要: Django Rest Framework 一. 什么是RESTful REST与技术无关,代表的是一种软件架构风格,REST是Representational State Transfer的简称,中文翻译为“表征状态转移” REST从资源的角度类审视整个网络,它将分布在网络中某个节点的资源通过UR 阅读全文
posted @ 2019-11-04 20:07 一颗桃子t 阅读(124) 评论(0) 推荐(0)
摘要: 入门篇 vue.js是目前前端web开发最流行的工具库,由尤雨溪在2014年2月发布的。 另外几个常见的工具库:react.js /angular.js 官方网站: 中文:https://cn.vuejs.org/ 英文:https://vuejs.org/ 官方文档:https://cn.vuej 阅读全文
posted @ 2019-11-03 16:10 一颗桃子t 阅读(221) 评论(0) 推荐(0)
摘要: CSRF Token相关装饰器在CBV只能加到dispatch方法上 备注: 1. csrf_protect,为当前函数强制设置防跨站请求伪造功能,即便settings中没有设置全局中间件。 2. csrf_exempt,取消当前函数防跨站请求伪造功能,即便settings中设置了全局中间件 fro 阅读全文
posted @ 2019-10-29 20:26 一颗桃子t 阅读(389) 评论(0) 推荐(0)
摘要: Django Rest Framework 目录 一. 什么是RESTful 二. RESTful API设计 三. 基于Django实现 四. 基于Django Rest Framework框架实现 1. 基本流程 2. 认证和授权 3. 用户访问次数/频率限制 4. 版本 5. 解析器(pars 阅读全文
posted @ 2019-10-29 14:40 一颗桃子t 阅读(205) 评论(0) 推荐(0)
摘要: 1、Redis中key的的过期时间 通过EXPIRE key seconds命令来设置数据的过期时间。返回1表明设置成功,返回0表明key不存在或者不能成功设置过期时间。在key上设置了过期时间后key将在指定的秒数后被自动删除。被指定了过期时间的key在Redis中被称为是不稳定的。 当key被D 阅读全文
posted @ 2019-10-26 16:00 一颗桃子t 阅读(741) 评论(0) 推荐(0)
摘要: 概述 概念:监测 核心技术:去重 基于 redis 的一个去重 适合使用增量式的网站: 基于深度爬取的 对爬取过的页面url进行一个记录(记录表) 基于非深度爬取的 记录表:爬取过的数据对应的数据指纹 数据指纹:原始数据的一组唯一标识 数据 –> 数据指纹 –> 库中查询 hashlib 所谓的记录 阅读全文
posted @ 2019-10-24 21:40 一颗桃子t 阅读(436) 评论(0) 推荐(0)
摘要: 概述 什么是分布式爬虫 需要搭建一个由n台电脑组成的机群,然后在每一台电脑中执行同一组程序,让其对同一网络资源进行联合且分布的数据爬取。 原生Scrapy无法实现分布式的原因 原生Scrapy中调度器不可以被共享 每一台机器都拥有一个调度器,如果一个机群共享一个调度器就可以了。 原生Scrapy中管 阅读全文
posted @ 2019-10-24 20:17 一颗桃子t 阅读(1408) 评论(0) 推荐(0)
摘要: 引言 本篇介绍Crawlspider,相比于Spider,Crawlspider更适用于批量爬取网页 Crawlspider Crawlspider适用于对网站爬取批量网页,相对比Spider类,CrawSpider主要使用规则(rules)来提取链接,通过定义一组规则为跟踪链接提供了遍历的机制。 阅读全文
posted @ 2019-10-20 21:28 一颗桃子t 阅读(783) 评论(0) 推荐(0)
摘要: Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 scrapy 框架 高性能的网络请求 高性能的数据解析 高性能的持久化存储 深度爬取 全站爬取 分布式 中间件 请求传参 环境的安装 mac/linux:pip i 阅读全文
posted @ 2019-10-20 21:27 一颗桃子t 阅读(610) 评论(0) 推荐(0)
摘要: 本篇介绍基于asyncio模块,实现单线程-多任务的异步协程 基本概念 协程函数 协程函数: 定义形式为 async def 的函数; aysnc 在Python3.5+版本新增了aysnc和await关键字,这两个语法糖让我们非常方便地定义和使用协程。 如果一个函数的定义被async修饰后,则该函 阅读全文
posted @ 2019-10-20 21:25 一颗桃子t 阅读(1041) 评论(0) 推荐(0)
上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 21 下一页