ExplorerMan

摘要：一 简介：讲讲如何优化mongo配置文件二 常规参数 port= //端口 fork=true//守护进程方式启动mongo logpath=shard.log //mongo日志存放路径 journal= true//redo log开启 nohttpinterface = true //关闭ht 阅读全文

摘要：这里总结下这段时间使用mongo的心得，列出了几个需要注意的地方。 1. 系统参数及mongo参数设置 mongo参数主要是storageEngine和directoryperdb，这两个参数一开始不选定后续就无法再更改。 directoryperdb主要是将数据库分文件夹存放，方便后续的备份及数据 阅读全文

摘要：innodb_flush_log_at_trx_commit和sync_binlog 两个参数是控制MySQL 磁盘写入策略以及数据安全性的关键参数。本文从参数含义，性能，安全角度阐述两个参数为不同的值时对db 性能,数据的影响. 1. 参数意义 1.1 innodb_flush_log_at_tr 阅读全文

摘要：关于innodb_flush_log_at_trx_commit的描述，看了mysql手册中的解释，感觉都不够清晰明了，下面试图以最简单直白的方式解释一下innodb_flush_log_at_trx_commit的含义。 首先需要大致了解一下mysql日志操作步骤： log_buff mysql写 阅读全文

摘要：漏洞扫描，老项目升级到5.7位成功，启动发现报错：unknown option log_error 线备份my.cnf配置文件， 猜测应该是写法有问题，先把log_error 改成log #log_error = /var/mysql/error.loglog = /var/mysql/error. 阅读全文

摘要：1、目的： 通过根据服务器目前状况，修改Mysql的系统参数，达到合理利用服务器现有资源，最大合理的提高MySQL性能。 2、服务器参数： 32G内存、4个CPU,每个CPU 8核。 3、MySQL目前安装状况。 MySQL目前安装，用的是MySQL默认的最大支持配置。拷贝的是my-huge.cnf 阅读全文

摘要：在Apache, PHP, mysql的体系架构中，MySQL对于性能的影响最大，也是关键的核心部分。对于Discuz!论坛程序也是如此，MySQL的设置是否合理优化，直接 影响到论坛的速度和承载量！同时，MySQL也是优化难度最大的一个部分，不但需要理解一些MySQL专业知识，同时还需要长时间的观 阅读全文

摘要：1. 查看磁盘 IO 性能 1.1 top 命令 top 命令通过查看 CPU 的 wa% 值来判断当前磁盘 IO 性能，如果这个数值过大，很可能是磁盘 IO 太高了，当然也可能是其他原因，例如网络 IO 过高等。 top命令的其他参数代表的含义详见top命令详解 1.2 sar 命令 sar 命令 阅读全文

摘要：MySQL在安装完成之后，其源数据默认存放在 /var/lib/mysql/ 目录下，一般情况下，该目录在根目录下，由于Linux系统默认 根目录所在挂载的磁盘容量有限，随着生产数据的不断产生，该目录会越来越大，如果磁盘空间不足，Mysql 会报Got error 28 from storage e 阅读全文

摘要：前提：使用系统的环境 3.13.0-24-generic mysql的版本：5.6.33 错误描述： 首先用mysqld_safe启动报错如下： root@zabbix-forFunction:~# mysqld_safe 170425 01:56:52 mysqld_safe Can't log 阅读全文

摘要：客户端远程连接mysql失败.（mysql server在Ubuntu上）ip能ping通，telnet ip:3306端口不通 Ubuntu下防火墙已经关闭 sudo ufw disableUbuntu ping windwos不通，关闭Windows防火墙后能ping通了还是连接不上忘记了MyS 阅读全文

摘要：更简单的方法是： from flask import jsonify jsonify({'a': 1, 'b': 2}) 本质上，两者是一样的。Werkzeug相关说明在这里。 当然，最终可能还是需要看源码，源码在这里。 那么，怎么返回json数据的同时指定状态码呢？ 具体，可以看这里。 阅读全文

摘要：python中json的序列化与反序列化有很多库，具体选择使用哪一个，或者哪一个速度更快呢？ 先上结果 json序列化与反序列化速度对比（按总时间排序：测试数据100 * 10000） ujson 序列化: 2.084 反序列化: 1.157 总时间: 3.241 yajl 序列化: 1.910 反 阅读全文

摘要：提示：以下操作均在root权限下进行。 # 查看有没有安装MySQL： dpkg -l | grep mysql # 安装MySQL： apt install mysql-server 安装完成之后可以使用如下命令来检查是否安装成功： netstat -tap | grep mysql 通过上述命令 阅读全文

摘要：今天执行mysql操作的时候出现了错误：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock'问题 1：首先检查是否安装了mysql-server了 su 阅读全文

摘要：网上的教程有很多，基本上大同小异。但是安装软件有时就可能因为一个细节安装失败。我也是综合了很多个教程才安装好的，所以本教程可能也不是普遍适合的。 安装环境：win7 1、下载zip安装包： MySQL8.0 For Windows zip包下载地址：https://dev.mysql.com/dow 阅读全文

摘要：我前面有篇文章已经详细介绍了一下 Python 的日志模块。Python 提供了非常多的可以运用在各种不同场景的 Log Handler. TimedRotatingFileHandler 是 Python 提供的一个可以基于时间自动切分日志的 Handler 类，他继承自 BaseRotating 阅读全文

摘要：问题原因：1、由于这个集群redis操作非常频繁，1分钟操作数据达到1-2G，所有自动aof非常频繁，主从复制打包rdb也非常频繁，之前配置已经无法满足要求报异常如下6943:M 19 Jul 20:22:57.326 # Connection with slave 10.215.84.40:600 阅读全文

摘要：最近新安装了一台redis,版本为redis-3.2.5 数据盘用的是固态硬盘。 之前用的是普通硬盘，redis日志天天报 Asynchronous AOF fsync is taking too long (disk is busy?). Writing the AOF buffer withou 阅读全文

摘要：一、问题说明 业务上接到报警提示服务器内存爆了，登录查看发现机器剩余内存还很多，怀疑是被OOM了，查看/var/log/messages： 发现redis-server被oom kill了，但是登录查看发现redis-server并没有down掉. 二、问题排查 既然redis-server并没有被 阅读全文

摘要：目录 架构图 部署详情 postgresql的安装与配置 pgpool的安装与配置 写在安装前 postgresql是一款很强大的数据库，具体有多强大呢，请谷歌。。。 网上的相关资料不是很多，参考了大神们的文档，结合自己趟了的坑，写了pg集群的安装文档。可能有一些参数没有配置好，希望大神们指出，谢谢 阅读全文

摘要：开涛大神在博客中说过：在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。本文结合作者的一些经验介绍限流的相关概念、算法和常规的实现方式。 缓存 缓存比较好理解，在大型高并发系统中，如果没有缓存数据库将分分钟被爆，系统也会瞬间瘫痪。使用缓存不单单能够提升系统访问速度、提高并发访问量，也是保护 阅读全文

摘要：限流可以认为服务降级的一种，限流就是限制系统的输入和输出流量已达到保护系统的目的。一般来说系统的吞吐量是可以被测算的，为了保证系统的稳定运行，一旦达到的需要限制的阈值，就需要限制流量并采取一些措施以完成限制流量的目的。比如：延迟处理，拒绝处理，或者部分拒绝处理等等。 在介绍限流概念之前，我们先来聊聊 阅读全文

摘要：前言 通过简单回顾阿里中间件(Aliware)消息引擎的发展史，本文开篇于双11消息引擎面临的低延迟挑战，通过经典的应用场景阐述可能会面临的问题 - 响应慢，雪崩，用户体验差，继而交易下跌。为了应对这些不可控的洪峰数据，中间件团队通过大量研究和实践，推出了低延迟高可用解决方案，在分布式存储领域具有一 阅读全文

摘要：当需要对表进行ddl操作如加索引、增删列时，数据量小时直接在线修改表结构影响不大当表达到百万、千万数据就不能直接在线修改表结构 下面是具体的过程：1、备份数据select * from ih_order into outfile '/bak/order.txt';mysql> select * fr 阅读全文

摘要：昨天晚上7点左右，对一张表进行加字段，大概200多万条记录，字段90多个的大表，结果造成mysql锁表，进而导致服务不可用。执行语句如下： [sql] view plain copy ALTER TABLE `sc_stockout_order` ADD `route_remarks` VARCHA 阅读全文

摘要：1.分区 分区的二种方式 a，横向分区 什么是横向分区呢？就是横着来分区了，举例来说明一下，假如有100W条数据，分成十份，前10W条数据放到第一个分区，第二个10W条数据放到第二个分区，依此类推。也就是把表分成了十分，根用merge来分表，有点像哦。取出一条数据的时候，这条数据包含了表结构中的所有 阅读全文

摘要：数据分布 1、MySQL Cluster自动分区数据表(也可能使用用户自定义分区)，将数据分布到分区中； 2、一个数据表被划分到多个Data Node分区中，数据在分区中被”striped”； 3、主键的 hashing 决定哪个分区拥有数据(自动分布)； 4、对主键的一部分进行hashing也是可 阅读全文

摘要：分布式数据库计算涉及到分布式事务、数据分布、数据收敛计算等等要求 分布式数据库能实现高安全、高性能、高可用等特征，当然也带来了高成本（固定成本及运营成本），我们通过MongoDB及MySQL Cluster从实现上来分析其中的设计思路，用以抽象我们在设计数据库时，可以引用的部分设计方法，应用于我们的 阅读全文

摘要：1. 为什么需要分布式数据库2. MySQL Cluster原理3. MySQL Cluster的优缺点4. MySQL Cluster国内应用5. 参考资料 1. 为什么需要分布式数据库 随着计算机和信息技术的迅猛发展和普及，行业应用系统的规模迅速扩大，行业应用所产生的数据量量呈爆炸式增长，动辄达 阅读全文

摘要：有人会问mysql集群，根分表有什么关系吗？虽然它不是实际意义上的分表，但是它启到了分表的作用，做集群的意义是什么呢？为一个数据库减轻负担，说白了就是减少sql排队队列中的sql的数量，举个例子：有10个sql请求，如果放在一个数据库服务器的排队队列中，他要等很长时间，如果把这10个sql请求，分配 阅读全文

摘要：mongodb最大连接数是20000。 所以业界流传一段话，千万级以下的用mysql、千万级以上的用mongodb，亿级以上的用hadoop。 查看mongodb最大连接数 mongodb/bin/mongo >db.serviceStatus().connections; current数值+av 阅读全文

摘要：前阵子，我要用到使LInux的文件打开数为65534个，而且需要永久生效，于是将配置写到了： vim /etc/security/limits.conf * soft nofile 65534* hard nofile 65534 重新登录后limit.conf的配置都不生效，后来发现，ubuntu 阅读全文

摘要：redis-trib.rb是官方提供的Redis Cluster的管理工具，无需额外下载，默认位于源码包的src目录下，但因该工具是用ruby开发的，所以需要准备相关的依赖环境。 准备redis-trib.rb的运行环境 wget https://cache.ruby-lang.org/pub/ru 阅读全文

摘要：一、递归原理小案例分析 （1）# 概述 递归：即一个函数调用了自身，即实现了递归 凡是循环能做到的事，递归一般都能做到！ （2）# 写递归的过程 1、写出临界条件 2、找出这一次和上一次关系 3、假设当前函数已经能用，调用自身计算上一次的结果，再求出本次的结果 （3）案例分析：求1+2+3+...+ 阅读全文

摘要：当你在电商平台秒杀商品或者在社交网络刷热门话题的时候，可以很明显感受到当前网络数据流量的恐怖，几十万商品刚开抢，一秒都不到就售罄；哪个大明星出轨的消息一出现，瞬间阅读与转发次数可以达到上亿。作为终端用户的我们可能会思考，服务系统是怎么在这样严峻的流量环境中存活下来的。 其实，服务系统的架构中有许多巧 阅读全文

摘要：##########################日志切割################################1、上传脚本到/usr/local/nginx/logs/下 2、并附执行权限chmod +x cut_nginx_log.sh 3、编写定时任务 每天0点0分 执行cut_n 阅读全文

摘要：只需要在server配置中，配置一个脚本即可，目前这个是定义了日，可以定义到分。set多添加几个参数即可 server { listen 80 default_server; root "/app/www/public"; if ($time_iso8601 ~ "^(\d{4})-(\d{2})- 阅读全文

摘要：阅读目录(Content) 1. 寻找masterpid 2. 重启Gunicorn任务 3. 退出Gunicorn任务 阅读目录(Content) 1. 寻找masterpid 2. 重启Gunicorn任务 3. 退出Gunicorn任务 在工作中，会发现gunicorn启动的web服务，无论怎 阅读全文

摘要：● Nginx 的启动 假设 nginx 安装在 /usr/local/nginx 目录中，那么启动 nginx 的命令就是： Command代码 [root@localhost ~]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/ngi 阅读全文

摘要：简单注解：mongos 路由进程， 应用程序接入mongos再查询到具体分片,监听端口默认27017config server 路由表服务， 每一台都具有全部chunk的路由信息 shard为数据存储分片， 每一片都可以是复制集（replica set) 部署分片集群 #配置mongoDB shar 阅读全文

摘要：因为tar zip是单线程的压缩，压缩起来很慢，这个使用使用pigz工具辅助就会使用多线程了。 安装 sudo apt install pigz 压缩 tar cvf - test.txt | pigz > test.tar.gz 解压到指定目录 转自： http://unix.stackexcha 阅读全文

摘要：背景及原理 数据库的备份是灾难恢复的最后一道屏障，不管什么类型的数据库都需要设置数据库备份，MongoDB也不例外。MongoDB 3.0 后 ，数据库可以采用Wiredtiger存储引擎后（3.2 版本默认），在此环境下通过mongodump 备份后，产生的备份文件要远大于数据存储文件的大小。此外 阅读全文

摘要：在日常的运维工作中，经常会用到nginx服务，也时常会碰到nginx因高并发导致的性能瓶颈问题。今天这里简单梳理下nginx性能优化的配置（仅仅依据本人的实战经验而述，如有不妥，敬请指出~） 一、这里的优化主要是指对nginx的配置优化，一般来说nginx配置文件中对优化比较有作用的主要有以下几项： 阅读全文

摘要：今天在查看nginx的相关知识的时候发现了一个nginx之前不认识的配置：worker_cpu_affinity。 nginx默认是没有开启利用多核cpu的配置的。需要通过增加worker_cpu_affinity配置参数来充分利用多核cpu，cpu是任务处理，当计算最费时的资源的时候，cpu核使用 阅读全文

摘要：1）修改当前交互终端的limit值 查询当前终端的文件句柄数： ulimit -n 回车，一般的系统默认的1024. 修改文件句柄数为65535，ulimit -n 65535.此时系统的文件句柄数为65535. 2）将ulimit 值添加到/etc/profile文件中（适用于有root权限登录的 阅读全文

摘要：6月25日，在LC3（LinuxCon + ContainerCon + CloudOpen）中国2018大会上，腾讯宣布其两大开源项目——RPC开发框架Tars、轻量化名字服务方案TSeer，加入Linux基金会。 LC3是集Linux、容器、云技术、网络、微服务等多种开源议题于一身的科技大会。 阅读全文

摘要：自从微服务架构开始变得火热以后，越来越多的系统被拆解成了很多个细胞一样的微服务。设想一下，如果你的系统有100个微服务构成，要对这100个微服务进行管理，这绝对是一个不小的挑战。所以紧接着又出现了一堆让人头晕眼花的概念：服务注册发现，请求链路追踪，服务熔断，服务限流，服务管控配置，服务预警。还有就是 阅读全文

摘要：grpc应用于微服务的分析 gRPC 是一个高性能、开源和通用的 RPC 框架，面向移动和 HTTP/2 设计,目前提供 C、Java 和 Go 语言版本，分别是：grpc, grpc-java, grpc-go. 其中 C 版本支持 C, C++, Node.js, Python, Ruby, O 阅读全文

摘要：介绍 使用python做web开发面临的一个最大的问题就是性能，在解决C10K问题上显的有点吃力。有些异步框架Tornado、Twisted、Gevent 等就是为了解决性能问题。这些框架在性能上有些提升，但是也出现了各种古怪的问题难以解决。 在python3.6中，官方的异步协程库asyncio正 阅读全文

摘要：腾讯微服务架构 Tars 于今日正式开源。 Tars 取名于电影“星际穿越”中的机器人，是支持多语言的高性能 RPC 开发框架和配套一体化的服务治理平台，可以帮助企业或者用户以微服务的方式快速构建稳定可靠的分布式应用。据称，Tars 是腾讯内部使用将近十年的基于微服务的统一应用框架 TAF（Tota 阅读全文

摘要：我们都知道，flask不支持异步非阻塞的请求，我们可以创建一个新项目去测试一下，推荐大家使用pycharm去开发我们的flask 使用特别的方便。 rom flask import Flask import time app = Flask(__name__) @app.route('/') def 阅读全文

摘要：Redis哨兵机制，一主二从 注：Redis哨兵切换，建议一主多从 一、一主二从 教程步骤：https://www.cnblogs.com/zwcry/p/9046207.html 二、哨兵配置(sentinel.conf) cd /usr/local/redis-ms/ 1.创建哨兵目录 mkdi 阅读全文