08 2020 档案

悲观锁和乐观锁详解
摘要：1、并发控制 当程序中可能出现并发的情况时，我们就需要通过一定的手段来保证在并发情况下数据的准确性，通过这种手段保证了当用户和其他用户一起操作时，所得到的结果和他单独操作时的祷告的结果是一样的。 这种手段就叫做并发控制。并发控制的目的是保证一个用户的工作不会对另一个用户的工作产生不合理的影响。 没有 阅读全文
posted @ 2020-08-28 12:05 江湖有梦 阅读(2200) 评论(1) 推荐(0)
江狗DRF
摘要：01 drf入门规范 02 drf 序列化组件 03 drf 请求与响应 04 drf 视图组件 05 drf 路由组件 06 drf 认证，权限与频率 07 drf 过滤，排序和异常处理 08 drf 分页器 09 drf自动生成接口文档 10 drfJWT认证 11 drf（RBAC）基于角色的 阅读全文
posted @ 2020-08-27 11:57 江湖有梦 阅读(181) 评论(0) 推荐(0)
python魔法方法详解
摘要：据说，Python 的对象天生拥有一些神奇的方法，它们总被双下划线所包围，他们是面向对象的 Python 的一切。 他们是可以给你的类增加魔力的特殊方法，如果你的对象实现（重载）了这些方法中的某一个，那么这个方法就会在特殊的情况下被 Python 所调用，你可以定义自己想要的行为，而这一切都是自动发 阅读全文
posted @ 2020-08-27 10:42 江湖有梦 阅读(357) 评论(0) 推荐(1)
五种网络IO模型
摘要：一 IO操作本质 数据复制的过程中不会消耗CPU # 1 内存分为内核缓冲区和用户缓冲区 # 2 用户的应用程序不能直接操作内核缓冲区，需要将数据从内核拷贝到用户才能使用 # 3 而IO操作、网络请求加载到内存的数据一开始是放在内核缓冲区的 二 IO模型 1. BIO – 阻塞模式I/O 用户进程从 阅读全文
posted @ 2020-08-27 09:17 江湖有梦 阅读(230) 评论(0) 推荐(0)
16 Linux计划任务
摘要：1.计划任务基本概述 1.什么是crond crond就是计划任务，类似于我们平时生活中的闹钟。定点执行。 2.为什么要使用crond crond主要是做一些周期性的任务，比如: 凌晨3点定时备份数据。比如：11点开启网站抢购接口，12点关闭网站抢购接口。 3.计划任务主要分为以下两种使用情况: 1 阅读全文
posted @ 2020-08-26 20:18 江湖有梦 阅读(149) 评论(0) 推荐(0)
15 Linux系统服务
摘要：1.Linux启动流程 CentOS6启动级别 CentOS6 VS Centos7开机启动流程图解 2.Linux运行级别 1.什么是运行级别，运行级别就是操作系统当前正在运行的功能级别 System V init运行级别 systemd目标名称 作用 0 runlevel0.target, po 阅读全文
posted @ 2020-08-26 20:17 江湖有梦 阅读(156) 评论(0) 推荐(0)
14 Linux进程管理
摘要：1.介绍 1.什么是进程 比如: 开发写的代码我们称为程序，那么将开发的代码运行起来。我们称为进程。 总结一句话就是: 当我们运行一个程序，那么我们将运行的程序叫进程。 PS1: 当程序运行为进程后，系统会为该进程分配内存，以及进程运行的身份和权限。 PS2: 在进程运行的过程中，系统会有各种指标来 阅读全文
posted @ 2020-08-26 20:16 江湖有梦 阅读(134) 评论(0) 推荐(0)
13 Linux磁盘管理
摘要：1.磁盘的基本概念 1.什么是磁盘 绝大多数人对硬盘都不陌生， 一块小小的硬盘里，就可以存储海量的照片音乐和电影，尤其是我们喜爱的各类动作片。 但如此小的空间，是如何储存那么多信息的呢？ 每个硬盘中心都是一摞高速运转的圆盘，在圆盘上附着的一圈金属颗粒，每个金属颗粒都有自己的磁化程度，用于储存0和1。 阅读全文
posted @ 2020-08-26 20:15 江湖有梦 阅读(158) 评论(0) 推荐(0)
12 Linux软件管理
摘要：1.RPM基本概述 1.什么是rpm? RPM全称 RedHat Package Manager 缩写，由红帽开发用于软件包的安装升级卸载与查询 2.rpm包名组成部分? RPM包命名以-将软件分成了若干部分bash-4.2.46-28.el7.x86_64.rpm bash:软件名 4.2.46- 阅读全文
posted @ 2020-08-26 20:14 江湖有梦 阅读(146) 评论(0) 推荐(0)
11 Linux压缩打包
摘要：1.文件打包与压缩 1.什么是文件压缩? 将多个文件或目录合并成为一个特殊的文件。比如: 搬家…脑补画面 img. 2.为什么要对文件进行压缩？ 当我们在传输大量的文件时，通常都会选择将该文件进行压缩，然后在进行传输。 首先：压缩后的文件会比压缩前的文件小。一个28G的文件夹压缩后能达到6G 其次： 阅读全文
posted @ 2020-08-26 20:13 江湖有梦 阅读(211) 评论(0) 推荐(0)
10 Linux文件查找
摘要：1.find查找概述 为什么要有文件查找，因为很多时候我们可能会忘了某个文件所在的位置，此时就需要通过find来查找。find命令可以根据不同的条件来进行查找文件，例如：文件名称、文件大小、文件修改时间、属主属组、权限、等等方式。同时find命令是Linux下必须掌握的。 *find 命令的基本语法 阅读全文
posted @ 2020-08-26 20:12 江湖有梦 阅读(126) 评论(0) 推荐(0)
09 Linux输入输出
摘要：1.重定向概述 1.什么是重定向 将原本要输出到屏幕的数据信息，重新定向到某个指定的文件中。比如：每天凌晨定时备份数据，希望将备份数据的结果保存到某个文件中。这样第二天通过查看文件的内容就知道昨天备份的数据是成功还是失败。 2.为何要使用重定向 1.当屏幕输出的信息很重要，而且希望保存重要的信息时； 阅读全文
posted @ 2020-08-26 20:11 江湖有梦 阅读(130) 评论(0) 推荐(0)
08 LinuxACL控制
摘要：1.ACL访问控制概述 上一章节我们学习了基础权限UGO、特殊权限，但所有的权限是针对某一类用户设置的, 如果希望对文件进行自定义权限控制，就需要用到文件的访问控制列表ACL UGO设置基本权限: 只能一个用户，一个组和其他人 ACL设置基本权限： r、w、x 设定acl只能是root管理员用户. 阅读全文
posted @ 2020-08-26 20:10 江湖有梦 阅读(124) 评论(0) 推荐(0)
07 Linux特殊权限
摘要：1.特殊权限概述 前面我们已经学习过 r（读）、w（写）、 x（执行）这三种普通权限，但是我们在査询系统文件权限时会发现出现了一些其他权限字母，比如： [root@bgx ~]# ll /usr/bin/passwd -rwsr-xr-x. 1 root root 27832 Jun 10 2014 阅读全文
posted @ 2020-08-26 20:03 江湖有梦 阅读(165) 评论(0) 推荐(0)
06 Linux基本权限
摘要：1.权限基本概述 1.什么是权限？ 我们可以把它理解为操作系统对用户能够执行的功能所设立的限制，主要用于约束用户能对系统所做的操作，以及内容访问的范围，或者说，权限是指某个特定的用户具有特定的系统资源使用权力。 2.为什么要有权限？ 因为系统中不可能只存在一个root用户，一定会存在多个用户，为了保 阅读全文
posted @ 2020-08-26 20:02 江湖有梦 阅读(115) 评论(0) 推荐(0)
05 Linux用户管理
摘要：1.用户基本概述 1.什么是用户? 用户指的是能够正常登录Linux或Windows系统(可以理解为你租了房子，能够正常入驻) F:那Linux与Windows系统的用户有什么区别? Q:本质都是登陆系统，只不过Linux支持多个用户同时登陆。 F:难道Windows就不算多用户操作系统吗? Q:其 阅读全文
posted @ 2020-08-26 20:01 江湖有梦 阅读(193) 评论(0) 推荐(0)
04 Linux文件编辑
摘要：1.VIM基本概述 1.什么是VIM? vi和vim是Linux下的一个文本编辑工具。(可以理解为windows的记事本，或word文档) 2.为什么要使用VIM? 因为Linux系统一切皆为文件，而我们工作最多的就是修改某个服务的配置(其实就是修改文件内容)。 也就是说如果没有vi/vim，我们很 阅读全文
posted @ 2020-08-26 19:59 江湖有梦 阅读(364) 评论(0) 推荐(0)
分布式中的接口幂等性
摘要：转自：https://www.cnblogs.com/jajian/p/10926681.html 业务场景 公司有个借贷的项目，具体业务类似于阿里的蚂蚁借呗，用户在平台上借款，然后规定一个到期时间，在该时间内用户需将借款还清并收取一定的手续费，如果规定时间逾期未还上，则会产生滞纳金。 用户发起借款 阅读全文
posted @ 2020-08-26 09:08 江湖有梦 阅读(142) 评论(0) 推荐(0)
03 Linux 文件管理
摘要：一、文件管理概述 谈及到 Linux 文件管理，首先我们需要了解的就是，我们要对文件做些什么事情？其实无非就是对一个文件进行创建、复制、移动、查看、编辑、压缩、查看、删除等等 二、系统目录结构 首先我们知道 Linux 的目录结构为树状结构，最顶级的目录为根目录 /，其他目录通过挂载可以将它们添加到 阅读全文
posted @ 2020-08-18 20:12 江湖有梦 阅读(144) 评论(0) 推荐(0)
02 bashshell介绍使用
摘要：1.什么是Bash shell(壳) Bash Shell是一个命令解释器，它在操作系统的最外层，负责用户程序与内核进行交互操作的一种接口，将用户输入的命令翻译给操作系统，并将处理后的结果输出至屏幕。 通过xshell连接，就是打开了一个bash程序的窗口，不能点鼠标，只能输入命令 当我们使用远程连 阅读全文
posted @ 2020-08-17 20:17 江湖有梦 阅读(161) 评论(0) 推荐(0)
01 Linux 的渊源与发展史
摘要：一、Unix 的起源与发展 Unix 是较早被广泛使用的计算机操作系统之一，它的第一版于1969年由 Ken Thompson 在 AT&T 贝尔实验室是实现，1973年 Ken Thompson 与 Dennis Ritchie 用C语言重写了 Unix 的第三版内核 二、开放源代码的发展 源代码 阅读全文
posted @ 2020-08-17 15:45 江湖有梦 阅读(410) 评论(0) 推荐(0)
11 提升爬虫效率和反扒
摘要：提升scrapy爬取数据的效率 增加并发： 默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。 降低日志级别： 在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使 阅读全文
posted @ 2020-08-07 08:48 江湖有梦 阅读(174) 评论(0) 推荐(0)
10 分布式爬虫
摘要：简介 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 分布式爬取的关键： 1、共享队列 2、重写Scheduler，让其无论是去重还是任务都去访问共享队列 3、为Scheduler定制去重规则（利用re 阅读全文
posted @ 2020-08-06 19:13 江湖有梦 阅读(124) 评论(0) 推荐(0)
09 scrapy的中间件
摘要：scrapy的中间件简介 1 都写在middlewares.py 2 爬虫中间件 3 下载中间件 4 要生效，一定要配置，配置文件 下载中间件： 下载中间件的用途 1、在process——request内，自定义下载，不用scrapy的下载 2、对请求进行二次加工，比如 设置请求头 设置cookie 阅读全文
posted @ 2020-08-06 19:12 江湖有梦 阅读(97) 评论(0) 推荐(0)
08 scrapy框架
摘要：scrapy介绍 通用的网络爬虫框架 架构介绍（框架） 一、scrapy执行流程 五大组件 -引擎(EGINE)：大总管，负责控制数据的流向 -调度器(SCHEDULER)：由它来决定下一个要抓取的网址是什么，去重 -下载器(DOWLOADER)：用于下载网页内容, 并将网页内 容返回给EGINE， 阅读全文
posted @ 2020-08-06 14:49 江湖有梦 阅读(121) 评论(0) 推荐(0)
07 selenium的使用
摘要：selenium 为了解决requests无法直接执行JavaScript代码的问题 安装： pip3 install selenium 浏览器的驱动： ps：需要下载对应版本的浏览器 http://npm.taobao.org/mirrors/chromedriver/ 84.0.4147.105 阅读全文
posted @ 2020-08-05 16:14 江湖有梦 阅读(210) 评论(0) 推荐(0)
06 xpath选择器
摘要：xpath xpath: XPath 是一门在 XML 文档中查找信息的语言 三个关键： / 从根节点选取。 // 不管位置，直接找 /@属性名 文本内容： doc=''' <html> <head> <base href='http://example.com/' /> <title>Exampl 阅读全文
posted @ 2020-08-05 16:12 江湖有梦 阅读(135) 评论(0) 推荐(0)
05 验证码的破解——打码平台
摘要：打码平台 一、申请注册 二、登录充值 三、下载对应的sdk（python的） ps：这里我用了超级鹰 #!/usr/bin/env python # coding:utf-8 import requests from hashlib import md5 class Chaojiying_Clien 阅读全文
posted @ 2020-08-05 16:11 江湖有梦 阅读(345) 评论(0) 推荐(0)
04 代理池的搭建
摘要：代理池搭建 一、直接从git上下载免费开源的代码 git clone git@github.com:jhao104/proxy_pool.git 二、打开修改配置 reids地址修改 三、启动爬虫 python proxyPool.py schedule 四、启动服务 python3 proxyPo 阅读全文
posted @ 2020-08-05 16:10 江湖有梦 阅读(218) 评论(0) 推荐(0)
03 bs4的使用
摘要：bs4的使用 一、安装 pip3 install beautifulsoup4 二、使用方法 这是我们需要解析的内容 html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p id="my_p" c 阅读全文
posted @ 2020-08-05 16:09 江湖有梦 阅读(90) 评论(0) 推荐(0)
02 requests模块
摘要：requests模块的使用 一、安装 pip3 install requests 二、使用方法 2.1 get请求 header = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, li 阅读全文
posted @ 2020-08-05 15:06 江湖有梦 阅读(281) 评论(0) 推荐(0)
01 什么是爬虫
摘要：爬虫是什么 1、什么是互联网？ ​ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 2、互联网建立的目的？ ​ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你 阅读全文
posted @ 2020-08-03 15:16 江湖有梦 阅读(611) 评论(0) 推荐(0)