摘要：
1.文件读写 1).Python内置的open函数 2).避免文件句柄泄露 3).常见的文件操作函数 4).Python的文件是一个可迭代对象 5).案例：将文件中所有单词的首字母变成大写 2.文件与文件路径管理 1).使用os.path进行路径和文件管理 拆分路径 构建路径 获取文件属性 判断文件 阅读全文
posted @ 2019-08-12 17:15
AllenHU320
阅读(207)
评论(0)
推荐(0)
摘要：
Python2.7.9+或Python3.4+版本，内置了pip 安装pip# unzip setuptools-38.5.1.zip # cd setuptools-38.5.1# python setup.py install# tar -zxvf pip-9.0.1.tar.gz# cd pi 阅读全文
posted @ 2019-08-12 14:54
AllenHU320
阅读(255)
评论(0)
推荐(0)
摘要：
mydb1 Ops Manager,mongodb,agent mydb2 mongodb,agent mydb3 mongodb,agent NUMA Settings sysctl -w vm.zone_reclaim_mode=0 NTP Settings yum install -y ntp 阅读全文
posted @ 2019-08-12 14:52
AllenHU320
阅读(2348)
评论(0)
推荐(0)
摘要：
一、为什么使用GridFS GridFS是MongoDB的一个子模块，使用GridFS可以基于MongoDB来持久存储文件，并且支持分布式应用（文件分布存储和读取）。作为MongoDB中二进制数据存储在数据库中的解决方案，通常用来处理大文件，对于MongoDB的BSON格式的数据（文档）存储有尺寸限 阅读全文
posted @ 2019-08-12 14:50
AllenHU320
阅读(447)
评论(0)
推荐(0)
摘要：
explain执行计划 MongoDB 提供了一个 explain 命令让我们获知系统如何处理查询请求。利用 explain 命令，我们可以很好地观察系统如何使用索引来加快检索，同时可以针对性优化索引。 "stage" : "IXSCAN",稍好一些 还要看nReturned，totalDocsEx 阅读全文
posted @ 2019-08-12 14:49
AllenHU320
阅读(328)
评论(0)
推荐(0)
摘要：
MongoDB提供了原生的管理接口：REST接口和HTTP接口。REST接口可用于配置监控、告警脚本和其他一些管理任务。HTTP接口在Web界面上显示MongoDB服务的情况 使用mongo命令进入Shell客户端后使用命令: MongoDB服务的状态 >db.serverStatus(); 主机名 阅读全文
posted @ 2019-08-12 14:47
AllenHU320
阅读(517)
评论(0)
推荐(0)
摘要：
数据备份mongodump 在mongodump可执行文件的bin目录使用命令: ./mongodump -d test -o /home/joe/ 有配置环境的Linux任意路径使用命令: mongodump也可以使用-q参数增加查询条件，只导出满足条件的文档，使用命令: mongodump -d 阅读全文
posted @ 2019-08-12 14:45
AllenHU320
阅读(599)
评论(0)
推荐(0)
摘要：
主机 ip 服务和端口 mydb1 192.168.1.101 Shard1 master 7001 Shard2 slave 7002 Shard3 slave 7003 Config Server 27001 mongos 37001 mydb2 192.168.1.102 Shard1 sla 阅读全文
posted @ 2019-08-12 14:44
AllenHU320
阅读(193)
评论(0)
推荐(0)
摘要：
1:安装 用InstallMongoDB_7.sh安装 2:启动3个实例,且声明实例属于某复制集 # /usr/local/mongodb/bin/mongod -f /app/mongodb/27017/mongodb.config 3:配置，一次性配置 节点1： # /usr/local/mon 阅读全文
posted @ 2019-08-12 14:43
AllenHU320
阅读(207)
评论(0)
推荐(0)
摘要：
MongoDB的安全模式默认是关闭的 绑定监听ip 例如192.168.199.8上的MongoDB实例可使用命令如下: mongod --bind_ip 127.0.0.1, 192.168.199.8 设置监听端口 MongoDB默认的监听端口是27017，为了安全起见，可以修改这个监听端口，避 阅读全文
posted @ 2019-08-12 14:42
AllenHU320
阅读(187)
评论(0)
推荐(0)
摘要：
索引 1)创建索引 >db.user.ensureIndex({age: 1}); >db.user.ensureIndex({myName: 1, age: -1}); 创建索引还可以搭配一些参数: >db.test.ensureIndex({"username":1},{"background" 阅读全文
posted @ 2019-08-12 14:41
AllenHU320
阅读(178)
评论(0)
推荐(0)
摘要：
简单添加用户 MongoDB shell version: 3.4.* >use admin >db.createUser( { user: "root", pwd: "abc123", roles: [ { role: "root", db: "admin" } ] } ) >use test > 阅读全文
posted @ 2019-08-12 14:41
AllenHU320
阅读(489)
评论(0)
推荐(0)
摘要：
InstallMongoDB_7.sh InstallMongoDB_multi.sh 阅读全文
posted @ 2019-08-12 14:40
AllenHU320
阅读(190)
评论(0)
推荐(0)
摘要：
Python2.7.9+或Python3.4+版本，内置了pip 安装pip# unzip setuptools-38.5.1.zip # cd setuptools-38.5.1# python setup.py install# tar -zxvf pip-9.0.1.tar.gz# cd pi 阅读全文
posted @ 2019-08-12 14:26
AllenHU320
阅读(466)
评论(0)
推荐(0)
摘要：
迁移键： move key db 用于在Redis内部进行数据迁移 dump key + restore key ttl value 可以实现在不同的Redis实例之间进行数据迁移 127.0.0.1:6379> dump name "\x00\x05allen\a\x00\x82\x9a*T/\x 阅读全文
posted @ 2019-08-12 14:25
AllenHU320
阅读(641)
评论(0)
推荐(0)
摘要：
Zabbix监控Redis服务 OpenFalcon监控Redis服务 CacheCloud搭建 系统CentOS 7.4，mysql 5.7，Redis 4.0 # yum -y install git # cd /usr/local/ # git clone https://github.com 阅读全文
posted @ 2019-08-12 14:24
AllenHU320
阅读(303)
评论(0)
推荐(0)
摘要：
Redis集群配置 支持多节点数据集自动分片 提供一定程度的分区可用性，部分节点挂掉或者无法连接其他节点后，服务可以正常运行 集群中的每个Redis节点需要2个TCP连接端口，如6379端口用于Client连接，16379端口用于集群数据通信 集群采用Hash Slot方案，而不是一致性哈希,共16 阅读全文
posted @ 2019-08-12 14:21
AllenHU320
阅读(257)
评论(0)
推荐(0)
摘要：
redis-benchmark -c 100 -n 20000 -t get,set -q --csv -c代表客户端并发数量，默认是50 -n代表客户端请求总量，默认为100000 -q显示requests per second信息 -r SET/GET/INCR 使用随机 key, SADD 使 阅读全文
posted @ 2019-08-12 14:21
AllenHU320
阅读(171)
评论(0)
推荐(0)
摘要：
Redis数据备份与恢复 127.0.0.1:6379> save //该命令将在redis安装目录中创建dump.rdb文件 OK 数据恢复，如果需要恢复数据，只需要将备份文件(dump.rdb)移动到redis安装目录并启动服务即可。获取redis目录可以使用config命令 127.0.0.1 阅读全文
posted @ 2019-08-12 14:20
AllenHU320
阅读(209)
评论(0)
推荐(0)
摘要：
Redis脚本 Redis 脚本使用 Lua 解释器来执行脚本。 Reids 2.6 版本通过内嵌支持 Lua 环境。执行脚本的常用命令为 EVAL。 redis 127.0.0.1:6379> EVAL script numkeys key [key ...] arg [arg ...] 127. 阅读全文
posted @ 2019-08-12 14:19
AllenHU320
阅读(180)
评论(0)
推荐(0)
摘要：
Redis事务处理 众所周知，事务是指“一个完整的动作，要么全部执行，要么什么也没有做”。 在聊redis事务处理之前，要先和大家介绍四个redis指令，即MULTI、EXEC、DISCARD、WATCH。这四个指令构成了redis事务处理的基础。 1.MULTI用来组装一个事务； 2.EXEC用来 阅读全文
posted @ 2019-08-12 14:18
AllenHU320
阅读(146)
评论(0)
推荐(0)
摘要：
Redis配置简介 可以在启动redis-server时指定应该加载的配置文件，方法如下： $ ./redis-server /path/to/redis.conf redis配置文件被分成了几大块区域，它们分别是： 1.通用（general） 2.快照（snapshotting） 3.复制（rep 阅读全文
posted @ 2019-08-12 14:17
AllenHU320
阅读(348)
评论(0)
推荐(0)
摘要：
Redis主从用法 像MySQL一样，redis是支持主从同步的，而且也支持一主多从以及多级从结构。 主从结构，一是为了纯粹的冗余备份，二是为了提升读性能，比如很消耗性能的SORT就可以由从服务器来承担。redis的主从同步是异步进行的，这意味着主从同步不会影响主逻辑，也不会降低redis的处理性能 阅读全文
posted @ 2019-08-12 14:17
AllenHU320
阅读(194)
评论(0)
推荐(0)
摘要：
Redis持久化-两种方式 redis提供了两种持久化的方式，分别是RDB（Redis DataBase）和AOF（Append Only File）。 RDB，简而言之，就是在不同的时间点，将redis存储的数据生成快照并存储到磁盘等介质上； AOF，则是换了一个角度来实现持久化，那就是将redi 阅读全文
posted @ 2019-08-12 14:15
AllenHU320
阅读(162)
评论(0)
推荐(0)
摘要：
Redis数据结构简介 redis是一种高级的key:value存储系统，其中value支持五种数据类型： 1.字符串（strings） 2.字符串列表（lists） 3.字符串集合（sets） 4.有序字符串集合（sorted sets） 5.哈希（hashes） 而关于key，有几个点要提醒大家 阅读全文
posted @ 2019-08-12 14:13
AllenHU320
阅读(153)
评论(0)
推荐(0)
摘要：
全局命令： 查看所有键： keys * 键总数： dbsize 检查键是否存在： exists key 删除键： del key [key...] 键过期： expire key seconds 键的数据类型： type key 通过object encoding命令查询内部编码 Redis使用了单 阅读全文
posted @ 2019-08-12 14:13
AllenHU320
阅读(168)
评论(0)
推荐(0)
摘要：
1.redis是什么 redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。redis的官网地址，非常好记，是redis.io。目前，Vmware在资助着redis项目的开发和维护。 Redis会将所有数据都存放在内存中，所以它的读写性能拾惊人的。 阅读全文
posted @ 2019-08-12 14:12
AllenHU320
阅读(154)
评论(0)
推荐(0)
摘要：
InstallRedis_CentOS7.sh InstallRedis_multi.sh 阅读全文
posted @ 2019-08-12 14:10
AllenHU320
阅读(122)
评论(0)
推荐(0)
摘要：
参考dble权威指南 阅读全文
posted @ 2019-08-12 13:01
AllenHU320
阅读(755)
评论(0)
推荐(0)
摘要：
MySQL5.7中performance和sys schema中的监控参数解释 在MySQL5.7中，performance schema有很大改进，包括引入大量新加入的监控项、降低占用空间和负载，以及通过新的sys schema机制显著提升易用性。下面通过本文给大家介绍 MySQL5.7中 per 阅读全文
posted @ 2019-08-12 13:00
AllenHU320
阅读(947)
评论(0)
推荐(0)
摘要：
Install_CentOS7_MySQL8_binary.sh Install_CentOS7_MySQL8_multi_instance.sh 阅读全文
posted @ 2019-08-12 12:59
AllenHU320
阅读(232)
评论(0)
推荐(0)
摘要：
【MySQL】企业级监控解决方案Promethus+Grafana Promethus用作监控数据采集与处理，而Grafana只是用作数据展示 一、Promethus简介 Prometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展 阅读全文
posted @ 2019-08-12 12:58
AllenHU320
阅读(1510)
评论(0)
推荐(0)
摘要：
https://book.open-falcon.org/zh_0_2/ 本文档记录了CentOS7.4下open-falcon-v2监控系统的部署流程，以及一些需要注意的地方。 环境准备 安装Redis 0.InstallRedis3.2.sh redis-3.2.3.tar.gz 安装mysql 阅读全文
posted @ 2019-08-12 12:57
AllenHU320
阅读(503)
评论(0)
推荐(0)
摘要：
应用场景： ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。 官网下载地址：https://www.elastic.co/downloads Elastics 阅读全文
posted @ 2019-08-12 12:52
AllenHU320
阅读(576)
评论(0)
推荐(0)
摘要：
MYSQL5.7下搭建Replication-Manager 环境说明 在主机1，主机2，主机3上安装MySQL服务端和客户端。 主机1 主机2 主机3 操作系统 CentOS7.4 CentOS7.4 CentOS7.4 主机名 mydb1 mydb2 mydb3 IP 192.168.1.101 阅读全文
posted @ 2019-08-12 12:51
AllenHU320
阅读(1343)
评论(0)
推荐(0)
摘要：
MYSQL5.7下搭建Orchestrator 环境说明 在主机1，主机2，主机3上安装MySQL服务端和客户端。 主机1 主机2 主机3 操作系统 CentOS7.4 CentOS7.4 CentOS7.4 主机名 mydb1 mydb2 mydb3 IP 192.168.1.101 192.16 阅读全文
posted @ 2019-08-12 12:50
AllenHU320
阅读(1006)
评论(0)
推荐(0)
摘要：
SOAR 简介 SOAR，即 SQL Optimizer And Rewriter，是一款 SQL 智能优化与改写工具，由小米运维 DBA 团队出品 SOAR 体系架构 SOAR主要由语法解析器，集成环境，优化建议，重写逻辑，工具集五大模块组成。 语法解析和语法检查 一条SQL从文件，标准输入或命令 阅读全文
posted @ 2019-08-12 12:49
AllenHU320
阅读(2115)
评论(0)
推荐(0)
摘要：
binlog2sql使用总结：binlog2sql是大众点评开源的一款用于解析binlog的工具 功能：1.提取SQL2.生成回滚SQL 关于该工具的使用方法可参考github操作文档：https://github.com/danfengcao/binlog2sql 使用该工具的前提：1.binlo 阅读全文
posted @ 2019-08-12 12:48
AllenHU320
阅读(257)
评论(0)
推荐(0)
摘要：
GitHub的MySQL无触发器在线更改表定义工具！ 目的是解决一个经常碰到的问题：不断变化的产品需求会不断要求更改MySQL表结构。gh-ost通过一种影响小、可控制、可审计、操作简单的方案来改变线上表结构。 目前，在线修改表定义的任务主要是通过这三种途径完成的： 1.在从库上修改表定义，修改之后 阅读全文
posted @ 2019-08-12 12:47
AllenHU320
阅读(545)
评论(0)
推荐(0)
摘要：
percona-toolkit简介percona-toolkit是一组高级命令行工具的集合，用来执行各种通过手工执行非常复杂和麻烦的mysql任务和系统任务，这些任务包括： 检查master和slave数据的一致性 有效地对记录进行归档 查找重复的索引 对服务器信息进行汇总 分析来自日志和tcpdu 阅读全文
posted @ 2019-08-12 12:00
AllenHU320
阅读(2420)
评论(0)
推荐(0)
摘要：
CentOS7 配置如下 5.7.22 Group ReplicationMySQL5.7.22安装略 在三台db服务器上面设置/etc/hosts映射，如下：192.168.1.101 mydb1192.168.1.102 mydb2192.168.1.103 mydb3 安装的数据库服务器：数据 阅读全文
posted @ 2019-08-12 11:59
AllenHU320
阅读(805)
评论(0)
推荐(0)
摘要：
一．建立3台服务器之间ssh互信在mydb1，mydb2，mydb3服务器上分别执行：ssh-keygen -t rsassh-copy-id -i .ssh/id_rsa.pub root@192.168.1.101ssh-copy-id -i .ssh/id_rsa.pub root@192.1 阅读全文
posted @ 2019-08-12 11:57
AllenHU320
阅读(362)
评论(0)
推荐(0)
摘要：
MYSQL5.7下搭建MHA 环境说明 在主机1，主机2，主机3上安装MySQL服务端和客户端。 主机1 主机2 主机3 操作系统 CentOS7.4 CentOS7.4 CentOS7.4 主机名 mydb1 mydb2 mydb3 IP 192.168.1.101 192.168.1.102 1 阅读全文
posted @ 2019-08-12 11:57
AllenHU320
阅读(434)
评论(0)
推荐(0)
摘要：
https://github.com/sysown/proxysql/wiki https://github.com/sysown/proxysql/wiki/ProxySQL-Configuration关于ProxySQL的文档请见：https://github.com/sysown/ProxyS 阅读全文
posted @ 2019-08-12 11:53
AllenHU320
阅读(314)
评论(0)
推荐(0)
摘要：
# wget http://brick.kernel.dk/snaps/fio-2.2.5.tar.gz # tar xvf fio-2.2.5.tar.gz# cd fio-2.2.5# ./configure# make && make install FIO的用法：FIO分顺序读，随机读，顺序 阅读全文
posted @ 2019-08-12 11:52
AllenHU320
阅读(1536)
评论(0)
推荐(0)
摘要：
os: centos 7.4 db: mysql 5.7 software: tpcc-mysql TPC-C是专门针对联机交易处理系统（OLTP系统）的规范。 tpcc-mysql是percona基于TPC-C(下面简写成TPCC)衍生出来的产品，专用于MySQL基准测试 下载https://gi 阅读全文
posted @ 2019-08-12 11:50
AllenHU320
阅读(313)
评论(0)
推荐(0)
摘要：
什么是基准测试 数据库的基准测试是对数据库的性能指标进行定量的、可复现的、可对比的测试。 基准测试与压力测试 基准测试可以理解为针对系统的一种压力测试。但基准测试不关心业务逻辑，更加简单、直接、易于测试，数据可以由工具生成，不要求真实；而压力测试一般考虑业务逻辑(如购物车业务)，要求真实的数据。 基 阅读全文
posted @ 2019-08-12 11:49
AllenHU320
阅读(454)
评论(0)
推荐(0)
摘要：
复制延迟 搞明白当前的数据库在干什么 查看MySQL当前SQL的状态 利用perf top查看MySQL的调度情况 复制延迟解决方法 常规检查 所有的机器是不是一样 MySQL的版本是不是一样 相关配置是不是一样 网络是不是存在较大的延迟 IO thread延迟 master: show maste 阅读全文
posted @ 2019-08-12 11:30
AllenHU320
阅读(286)
评论(0)
推荐(0)
浙公网安备 33010602011771号