2020 年 5月随笔档案 - Rannie`

那些年你不知道的爬虫面试题

摘要：1. 什么是爬虫和反爬虫？爬虫：使用任何技术手段，批量获取网站信息的一种方式。反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 2. 常见的反爬虫机制通过UA 识别爬虫有些爬虫的UA是特殊的，与正常浏览器的不一样，可通过识别特征UA，直接封掉爬虫请求设置IP访问频率，如果阅读全文

posted @ 2020-05-27 11:05 Rannie` 阅读(760) 评论(0) 推荐(0)

Pymongo

摘要：Pymongo 阅读全文

posted @ 2020-05-20 20:39 Rannie` 阅读(173) 评论(0) 推荐(0)

MongoDB 数据类型

摘要：基本数据类型 1、在概念上，MongoDB的文档与Javascript的对象相近，因而可以认为它类似于JSON。JSON（http://www.json.org）是一种简单的数据表示方式：其规范仅用一段文字就能描述清楚（其官网证明了这点），且仅包含六种数据类型。 2、这样有很多好处：易于理解、易于解阅读全文

posted @ 2020-05-20 20:37 Rannie` 阅读(887) 评论(0) 推荐(0)

MongoDB 的 curd 操作

摘要：[TOC] 1 数据库的curd操作 2 集合操作 3 文档操作（curd) 新增和修改查询文档成员运算正则匹配取指定字段查询数组排序分页获取数量其他修改文档语法介绍覆盖式设置$set 增加和减少添加删除组内元素 $push $pop $pull 避免重复 "$addTo 阅读全文

posted @ 2020-05-20 20:29 Rannie` 阅读(269) 评论(0) 推荐(0)

MongoDB 基础知识

摘要：MongoDB 基础知识 2.1 文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','foo':3}。类似于python中的有序字典。需要注意的是： #1、文档中的键/值对是有序的。 #2、文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型（甚阅读全文

posted @ 2020-05-20 19:20 Rannie` 阅读(160) 评论(0) 推荐(0)

MySQL 主从同步

摘要：MySQL 主从同步的原理 mysql主从配置的流程大体如图： 1）master会将变动记录到二进制日志里面； 2）master有一个I/O线程将二进制日志发送到slave; 3) slave有一个I/O线程把master发送的二进制写入到relay日志里面； 4）slave有一个SQL线程，按照r 阅读全文

posted @ 2020-05-15 16:49 Rannie` 阅读(170) 评论(0) 推荐(0)

缓存的使用和优化

摘要：[TOC] 一缓存的收益与成本 1.1 受益 1 加速读写 2 降低后端负载：后端服务器通过前端缓存降低负载，业务端使用redis降低后端mysql负载 1.2 成本 1 数据不一致：缓存层和数据层有时间窗口不一致，和更新策略有关 2 代码维护成本：多了一层缓存逻辑 3 运维成本：比如使用了Red 阅读全文

posted @ 2020-05-15 16:16 Rannie` 阅读(236) 评论(0) 推荐(0)

Redis Sentinel

摘要：[TOC] Redis Sentinel 一主从复制高可用二架构说明可以做故障判断，故障转移，通知客户端（其实是一个进程），客户端直接连接sentinel的地址 1 多个sentinel发现并确认master有问题 2 选举触一个sentinel作为领导 3 选取一个slave作为新的mas 阅读全文

posted @ 2020-05-14 20:16 Rannie` 阅读(190) 评论(0) 推荐(0)

Redis 主从复制

摘要：[TOC] 什么是主从复制为了提高性能，扩展机器机器故障；容量瓶颈；QPS瓶颈一主一从，一主多从做读写分离做数据副本扩展数据性能一个maskter可以有多个slave 一个slave只能有一个master 数据流向是单向的，从master到slave 主从的两种方式 slave 命令阅读全文

posted @ 2020-05-14 19:51 Rannie` 阅读(149) 评论(0) 推荐(0)

Redis 持久化

摘要：[TOC] 什么是持久化 redis的所有数据保存在内存中，对数据的更新将异步的保存到硬盘上持久化的实现方式 RDB 什么是 RDB？触发机制主要三种方式 AOF RDB 问题耗时，耗性能不可控，可能会丢失数据 AOF 介绍客户端每写入一条命令，都记录一条日志，放到日志文件中，如果出现宕阅读全文

posted @ 2020-05-14 19:25 Rannie` 阅读(176) 评论(0) 推荐(0)

GEO

摘要：GEO（地理信息定位）：存储经纬度，计算两地距离，范围等北京：116.28，39.55 天津：117.12，39.08 可以计算天津到北京的距离，天津周围50km的城市，外卖等 5个城市纬度 | 城市 | 经度 | 纬度 | 简称 | | | | | | | 北京 | 116.28 | 39.55 阅读全文

posted @ 2020-05-14 19:07 Rannie` 阅读(315) 评论(0) 推荐(0)

Redis 高级用法

摘要：[TOC] 生命周期我们配置一个时间，如果查询时间超过了我们设置的时间，我们就认为这是一个慢查询. 慢查询发生在第三阶段客户端超时不一定慢查询，但慢查询是客户端超时的一个可能因素 1.2 两个配置 1.2.1 slowlog max len 慢查询是一个先进先出的队列固定长度保存在内存中 1 阅读全文

posted @ 2020-05-13 17:06 Rannie` 阅读(387) 评论(0) 推荐(0)

如何提高项目并发量

摘要：[TOC] 1 前端用 cdn，静态资源放到 cdn 上（js，css，静态图片）用精灵图（一个大图，上面有很多小图，用定位，定位到小图）前端缓存（响应头设置缓存时间） 2 服务器 Nginx 做集群（dns 解析）动静分离（静态资源直接通过nginx转发，拿去；uwsgi只负责处理阅读全文

posted @ 2020-05-07 21:07 Rannie` 阅读(529) 评论(0) 推荐(0)

公告