08 2020 档案
摘要：Docker安装 注意获取镜像的时候要获取management版本的，不要获取last版本的，management版本的才带有管理界面 获取rabbitmq镜像 docker pull rabbitmq:management 查看rabbitmq镜像 docker search rabbitmq:m
阅读全文
摘要：pyecharts 模块 官方文档 安装 #pyecharts 分为 v0.5.X 和 v1 两个大版本，v0.5.X 和 v1 间不兼容，v1 是一个全新的版本，如果你是v1版本可以参考:https://github.com/pyecharts/pyecharts/issues/892 pip i
阅读全文
摘要：python dbutils DBUtils是一套Python数据库连接池包，并允许对非线程安全的数据库接口进行线程安全包装。 DBUtils提供两种外部接口： PersistentDB ：提供线程专用的数据库连接，并自动管理连接。 PooledDB ：提供线程间可共享的数据库连接，并自动管理连接。
阅读全文
摘要：脏读（一个事务读取到另一个事务未提交的数据） 下面的例子，a就这样骗走了b的100块钱的货物 不可重复读（一个事务读取到另一个事务已经提交的数据） 下面的例子，b获取的数据前后不一致 解决办法：如果只有在修改事务完全提交之后才可以读取数据，则可以避免该问题。 幻读（一个事务多次查询整表数据，由于其他
阅读全文
摘要：mysql索引 1.介绍 为何要有索引? 一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。 什么是索引？ 索引在MyS
阅读全文
摘要：redis持久化 Redis是一种内存型数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题，Redis提供了两种持久化的方案，将内存中的数据保存到磁盘中，避免数据的丢失，rdb与aof。 RDB持久化 redis提供了RDB持久化的功能，这个功能可以将redis在内存中的的状态保存到
阅读全文
摘要：redis发布订阅 角色 发布者/订阅者/频道 发布者发布了消息，所有的订阅者都可以收到，就是生产者消费者模型（后订阅了，无法获取历史消息） 订阅者可以订阅任意数量的频道 模型 publish channel message #发布命令 publish souhu:tv "hello world"
阅读全文
摘要：一 信号简介 Django提供一种信号机制。其实就是观察者模式，又叫发布-订阅(Publish/Subscribe) 。当发生一些动作的时候，发出信号，然后监听了这个信号的函数就会执行。 通俗来讲，就是一些动作发生的时候，信号允许特定的发送者去提醒一些接受者。用于在框架执行操作时解耦。 注意：dja
阅读全文
摘要：安装 pip install paramiko 官网：http://www.paramiko.org/ 一、基于用户名和密码的 sshclient 方式登录 # 建立一个sshclient对象 ssh = paramiko.SSHClient() # 允许将信任的主机自动加入到host_allow
阅读全文
摘要：设计模式是什么 设计模式是经过总结、优化的，对我们经常会碰到的一些编程问题的可重用解决方案。一个设计模式并不像一个类或一个库那样能够直接作用于我们的代码。反之，设计模式更为高级，它是一种必须在特定情形下实现的一种方法模板。设计模式不会绑定具体的编程语言。一个好的设计模式应该能够用大部分编程语言实现(
阅读全文
摘要：设计模式的六大原则 总原则：开闭原则（Open Close Principle） 开闭原则就是说对扩展开放，对修改关闭。在程序需要进行拓展的时候，不能去修改原有的代码，而是要扩展原有代码，实现一个热插拔的效果。所以一句话概括就是：为了使程序的扩展性好，易于维护和升级。想要达到这样的效果，我们需要使用
阅读全文
摘要：腾讯短信验证 pip install qcloudsms_py #!/usr/bin/env python # -*- coding:utf-8 -*- import ssl # ssl._create_default_https_context = ssl._create_unverified_c
阅读全文
摘要：计划任务基本概述 什么是crond crond就是计划任务，类似于我们平时生活中的闹钟。定点执行。 为什么要使用crond crond主要是做一些周期性的任务，比如: 凌晨3点定时备份数据。比如：11点开启网站抢购接口，12点关闭网站抢购接口。 计划任务主要分为以下两种使用情况: 1.系统级别的定时
阅读全文
摘要：1.Linux启动流程 CentOS6启动级别 CentOS6 VS Centos7开机启动流程图解 2.Linux运行级别 1.什么是运行级别，运行级别就是操作系统当前正在运行的功能级别 System V init运行级别 systemd目标名称 作用 0 runlevel0.target, po
阅读全文
摘要：安装Faker 使用pip安装 pip install Faker 或者去Faker的PyPI页面下载Wheel或者Source文件进行安装： 基本用法 from faker import Faker # 1 fake = Faker() # 2 fake.name() # 3 # Donna Ke
阅读全文
摘要：1. 安装 pip install openpyxl 2. 打开文件 ① 创建 from openpyxl import Workbook # 实例化 wb = Workbook() # 激活 worksheet ws = wb.active ② 打开已有 >>> from openpyxl imp
阅读全文
摘要：Python-docx python-docx包可以用来创建docx文档，并对现有文档进行更改，包含段落、分页符、表格、图片、标题、样式等几乎所有的word文档中能常用的功能都包含了 只能解析docx文件，解析不了doc文件 官方文档： https://python-docx.readthedocs
阅读全文
摘要：1.介绍 1.什么是进程 比如: 开发写的代码我们称为程序，那么将开发的代码运行起来。我们称为进程。 总结一句话就是: 当我们运行一个程序，那么我们将运行的程序叫进程。 PS1: 当程序运行为进程后，系统会为该进程分配内存，以及进程运行的身份和权限。 PS2: 在进程运行的过程中，系统会有各种指标来
阅读全文
摘要：1.磁盘的基本概念 1.什么是磁盘 绝大多数人对硬盘都不陌生， 一块小小的硬盘里，就可以存储海量的照片音乐和电影，尤其是我们喜爱的各类动作片。 但如此小的空间，是如何储存那么多信息的呢？ 每个硬盘中心都是一摞高速运转的圆盘，在圆盘上附着的一圈金属颗粒，每个金属颗粒都有自己的磁化程度，用于储存0和1。
阅读全文
摘要：一 IO操作本质 数据复制的过程中不会消耗CPU # 1 内存分为内核缓冲区和用户缓冲区 # 2 用户的应用程序不能直接操作内核缓冲区，需要将数据从内核拷贝到用户才能使用 # 3 而IO操作、网络请求加载到内存的数据一开始是放在内核缓冲区的 二 IO模型 BIO – 阻塞模式I/O 用户进程从发起请
阅读全文
摘要：简述 init、new、call 方法 任何事物都有一个从创建，被使用，再到消亡的过程，在程序语言面向对象编程模型中，对象也有相似的命运：创建、初始化、使用、垃圾回收，不同的阶段由不同的方法（角色）负责执行。 定义一个类时，大家用得最多的就是 init 方法，而 new 和 call 使用得比较少，
阅读全文
摘要：MongoDB 文档操作 文档的数据结构和 JSON 基本一样。 所有存储在集合中的数据都是 BSON 格式。 BSON 是一种类似 JSON 的二进制形式的存储格式，是 Binary JSON 的简称。 插入文档 MongoDB 使用 insert() 或 save() 方法向集合中插入文档，语法
阅读全文
摘要：MongoDB 创建集合 MongoDB 中使用 createCollection() 方法来创建集合。 语法格式： db.createCollection(name, options) 参数说明： name: 要创建的集合名称 options: 可选参数, 指定有关内存大小及索引的选项 optio
阅读全文
摘要：MongoDB 创建数据库 语法 MongoDB 创建数据库的语法格式如下： use DATABASE_NAME 如果数据库不存在，则创建数据库，否则切换到指定数据库。 实例 以下实例我们创建了数据库 student: > use student switched to db student > d
阅读全文
摘要：MongoDB - 连接 启动 MongoDB 服务 在 MongoDB 安装目录的 bin 目录下执行 mongodb 启动 MongoDB 服务。 执行启动操作后，mongodb 在输出一些必要信息后不会输出任何信息，之后就等待连接的建立，当连接被建立后，就会开始打印日志信息。 你可以使用 Mo
阅读全文
摘要：MongoDB的文档存储结构 MongoDB文档数据库的存储结构分为四个层次，从小到大依次是：键值对、文档（document）、集合（collection）、数据库（database）。 图 1 描述了 MongoDB 的存储与MySQL存储的对应关系，可以看出，MongoDB中的文档、集合、数据库
阅读全文
摘要：MongoDB 概念 mongodb中基本的概念是文档、集合、数据库。 SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 数据库表/集合 row document 数据记录行/文档 column field 数据字段
阅读全文
摘要：Mac OSX 平台安装 MongoDB MongoDB 提供了 OSX 平台上 64 位的安装包，你可以在官网下载安装包。 下载地址：https://www.mongodb.com/download-center#community 从 MongoDB 3.0 版本开始只支持 OS X 10.7
阅读全文
摘要：Linux平台安装MongoDB MongoDB 提供了 linux 各个发行版本 64 位的安装包，你可以在官网下载安装包。 安装前我们需要安装各个 Linux 平台依赖包。 Red Hat/CentOS： sudo yum install libcurl openssl Ubuntu 18.04
阅读全文
摘要：Windows 平台安装 MongoDB MongoDB 下载 MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包，你可以从MongoDB官网下载安装，MongoDB 预编译二进制包下载地址：https://www.mongodb.com/download-center/comm
阅读全文
摘要：什么是MongoDB MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下，添加更多的节点，可以保证服务器性能。 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB 将数据存储为一个文档，数据结构由键值(key=>val
阅读全文
摘要：NoSQL 简介 NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。 在现代的计算系统上每天网络上都会产生庞大的数据量。 这些数据有很大一部分是由关系数据库管理系统（RDBMS）来处理。 1970年 E.F.Codd's提出的关系模型的论文 "A relational
阅读全文
摘要：简介 谈到Redis服务器的高可用，如何保证备份的机器是原始服务器的完整备份呢？这时候就需要哨兵和复制。 哨兵(Sentinel)：可以管理多个Redis服务器，它提供了监控，提醒以及自动的故障转移的功能。 复制(Replication)：则是负责让一个Redis服务器可以配备多个备份的服务器。 R
阅读全文
摘要：分布式系统全局唯一ID 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。 如在金融、电商、支付、等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求，此时一个能够生成全局唯一ID的系统是非常必要的。 全局唯一性：不能出现重
阅读全文
摘要：分布式锁的应用场景 我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的锁进行处理，并且可以完美的运行，毫无Bug！ 注意这是单机应用，后来业务发展，需要做集群，一个应用需要部署到几台机器上然后做负载均衡，大致如下图： 上图可以看到，变量A存在三个服务器内存中（
阅读全文
摘要：redis 简介 redis为什么那么快： 首先，采用了多路复用io阻塞机制 然后，数据结构简单，操作节省时间 最后，运行在内存中，自然速度快 redis: 内存数据库(读写快)、非关系型(操作数据方便、数据固定) mysql: 硬盘数据库(数据持久化)、关系型(操作数据间关系、可以不同组合) 大量
阅读全文
摘要：redis介绍与安装 介绍 官方：Redis是一个使用 C语言 编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库。 白话：Redis是一个软件，这个软件可以帮助我们维护一部分内存，让我们往那块内存中进行存取值。如果数据在内存中存储，遇到宕机那么数据就会丢失，而redis解决了这个问题，他
阅读全文
摘要：容器简介 容器（Container）：容器是一种轻量级、可移植、并将应用程序进行的打包的技术，使应用程序可以在几乎任何地方以相同的方式运行 Docker将镜像文件运行起来后，产生的对象就是容器。容器相当于是镜像运行起来的一个实例。 容器具备一定的生命周期。 另外，可以借助docker ps命令查看运
阅读全文
摘要：镜像是一个Docker的可执行文件，其中包括运行应用程序所需的所有代码内容、依赖库、环境变量和配置文件等。 通过镜像可以创建一个或多个容器。 镜像搜索-docker search # 作用： 搜索Docker Hub(镜像仓库)上的镜像 # 命令格式： docker search [OPTIONS]
阅读全文
摘要：Docker-CE 和 Docker-EE介绍版本介绍 •Docker-CE指Docker社区版，由社区维护和提供技术支持，为免费版本，适合个人开发人员和小团队使用。 •Docker-EE指Docker企业版，为收费版本，由售后团队和技术团队提供技术支持，专为企业开发和IT团队而设计。 •相比Doc
阅读全文
摘要：Docker引擎介绍 (Docker Engine) Docker Engine是一个包含以下组件的客户端-服务端(C/S)应用程序 服务端 — 一个长时间运行的守护进程(Docker Daemon) REST API — 一套用于与Docker Daemon通信并指示其执行操作的接口 客户端 —
阅读全文
摘要：事务 事务(Transaction)：一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务就是一个最小的工作单元) 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成 事务只和DML语句 ( 数据库操作语句 ) 有关，或者
阅读全文
摘要：什么是幂等性 幂等性是系统服务对外一种承诺，承诺只要调用接口成功，外部多次调用对系统的影响是一致的。声明为幂等的服务会认为外部调用失败是常态，并且失败之后必然会有重试 什么情况下需要幂等 SELECT col1 FROM tab1 WHER col2=2，无论执行多少次都不会改变状态，是天然的幂等。
阅读全文
摘要：介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazo
阅读全文
摘要：介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium i
阅读全文
摘要：介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful
阅读全文
摘要：Requests模块简介 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的reque
阅读全文
摘要：爬虫是什么 #1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。 #2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能
阅读全文
摘要：RPM RPM全称 RPM Package Manager 缩写，由红帽开发用于软件包的安装升级卸载与查询 rpm包名组成 RPM包命名以-将软件分成了若干部分bash-4.2.46-28.el7.x86_64.rpm 获取rpm包 在我们刚开始学习rpm包，建议先使用本地CentOS7的镜像，但实
阅读全文
摘要：Linux下压缩包类型 gzip打包与压缩 [root@lqz ~]# yum install gzip -y [root@lqz ~]# gzip file #对文件进行压缩 [root@lqz ~]# zcat file.gz #查看gz压缩后的文件 [root@lqz ~]# gzip -d
阅读全文
摘要：find查找 find 命令的基本语法 find名称查找 #1.创建文件 touch /etc/sysconfig/network-scripts/{ifcfg-eth1,IFCFG-ETH1} #2.查找/etc目录下包含ifcfg-eth0名称的文件 [root@lqz ~]# find /et
阅读全文
摘要：重定向概述 什么是重定向 将原本要输出到屏幕的数据信息，重新定向到某个指定的文件中。比如：每天凌晨定时备份数据，希望将备份数据的结果保存到某个文件中。这样第二天通过查看文件的内容就知道昨天备份的数据是成功还是失败。 重定向作用 1.当屏幕输出的信息很重要，而且希望保存重要的信息时； 2.后台执行中的
阅读全文
摘要：ACL访问控制概述 对文件进行自定义权限控制 UGO设置基本权限: 只能一个用户，一个组和其他人 ACL设置基本权限： r、w、x 设定acl只能是root管理员用户. 相关命令: getfacl , setfacl acl基本使用 //环境准备 [root@lqz ~]# cp /etc/pass
阅读全文
摘要：特殊权限SUID 1.让普通用户对可执行的二进制文件，临时拥有二进制文件的所属主权限。 2.如果设置的二进制文件没有执行权限,那么suid的权限显示就是大S。 3.特殊权限suid仅对二进制可执行程序有效，其他文件或目录则无效。 suid授权方法4000 权限字符s(S),用户位置上的x位上设置 #
阅读全文
摘要：权限与用户之间的关系 在Linux系统中，针对文件定义了三种身份，分别是属主(owner)、属组(group)、其他人(others)，每一种身份又对应三种权限，分别是可读(readable)、可写(writable)、可执行(excutable)。 用户对文件资源，有三种角色，当一个用户访问文件流
阅读全文
摘要：查看用户 查看当前登录的用户信息 [root@bgx ~]# id #查看当前所登陆的用户信息 # uid:用户id，系统只能识别uid，不能识别名字，人看名字 # gid：组id uid=0(root) gid=0(root) groups=0(root) [root@bgx ~]# id old
阅读全文
摘要：VIM模式三种模式介绍 1.普通模式: 主要是控制光标移动，可对文本进行复制、粘贴、删除等工作。 使用vim filename 编辑一个文件时，一进入该文件就是普通模式了。 在这个模式下，可以进行光标移动、复制、删除、粘贴操作。 2.编辑模式: 主要进行文本内容编辑和修改 从普通模式进入编辑模式，只
阅读全文
摘要：系统目录结构 存放命令相关的目录 /bin， 普通用户使用的命令 /bin/ls, /bin/date /sbin，管理员使用的命令 /sbin/service,poweroff,useradd… 只要看到bin路径，就应该意识到放的是可执行文件 存放用户相关数据的家目录 /home，普通用户的家目
阅读全文
摘要：linux命令大全 linux命令手册 shell简单使用 vim test.sh for i in {1..100} do useradd test$i echo "create test$i" done bash test.sh Shell提示符 $ = 普通用户, # = root用户(超级管
阅读全文
浙公网安备 33010602011771号