ExplorerMan

摘要：问题概述 使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法 阅读全文

摘要：MySQL是中小型网站普遍使用的数据库之一，然而，很多人并不清楚MySQL到底能支持多大的数据量，再加上某些国内CMS厂商把数据承载量的责任推给它，导致很多不了解MySQL的站长对它产生了很多误解，那么，MySQL的数据量到底能支持多少呢？其实MySQL单表的上限，主要与操作系统支持的最大文件大小有 阅读全文

摘要：1.下载oracle客户端安装包(linux版)到 /opt/minitor/oracleDb 。 下载地址:https://download.csdn.net/download/a15565772151/11111941 可以私聊我一下我发你资源 2.运行 rpm -ivh oracle-inst 阅读全文

摘要：1.下载redis_exporter安装包（linux版）到 /opt/minitor/redis_exporter 。 下载地址:https://download.csdn.net/download/a15565772151/11111943 可以私聊我一下我发你资源 2.运行 tar -zxvf 阅读全文

摘要：此安装主要是为了监控服务器运行状况 1.下载node_exporter安装包（linux版）到 /opt/minitor/node_exporter 。 下载地址:https://download.csdn.net/download/a15565772151/11111928 可以私聊我一下我发你资 阅读全文

摘要：1.下载grafana安装包（linux版）到 /opt/minitor/grafana 。 下载地址:https://download.csdn.net/download/a15565772151/11111935 可以私聊我一下我发你资源 2.运行 tar -zxvf grafana-5.3.4 阅读全文

摘要：最近和朋友一起做的监控配置,拿出来共享一下 1.下载prometheus安装包(linux版)到 /opt/minitor/prometheus 。 下载地址:https://download.csdn.net/download/a15565772151/11111904 不知道为啥,csdn没法自 阅读全文

摘要：git环境搭建下载地址：https://git-scm.com/downloads 此处，安装环境为windows操作系统，所以选择windows版本下载一直下一步，直至安装完成找到安装git的目录下的git-bash.exe,打开，进行如下配置： $ git config --global use 阅读全文

摘要：官网地址: https://grafana.com/grafana/download Linux Ubuntu & Debian(64 Bit) SHA256: 3ccbdba9e7429f5aab79dc06ab13e21d76d4f5dca474bea0ab323d9092255436 wget 阅读全文

摘要：REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 阅读全文

摘要：序 本文主要研究一下redis的监控工具 redis-stat redis-stat是一个比较有名的redis指标可视化的监控工具，采用ruby开发，基于redis的info命令来统计，不影响redis性能。 docker运行 docker run --name redis-stat -p 8080 阅读全文

摘要：使用Top命令查看内存及缓冲区使用情况 当磁盘频繁产生IO时会导致buff/cache占用很高的内存,导致可用物理内存很少 但是当真正需要内存时,缓冲区内存会自动释放. 如果需要清理可以用 cache清理 sync;echo 3 > /proc/sys/vm/drop_caches 前面加sync 阅读全文

摘要：redis的高性能、稳定性都是不用怀疑的，但如果redis塞入数据过多，内存过大，那如果出问题，那它可能会给我们的就是灾难性的。 1 主库宕机 主库宕机，常见的策略为“切主”。具体为从该集群剩余从库中选出一个从库奖其升级为主库， 该从库升级为主库后再讲剩余从库挂载至其下成为其从库。 以上是一个完整的 阅读全文

摘要：工作需要使用 python 处理 mongodb 数据库两亿数据量去重复，需要在大数据量下快速判断数据是否存在 参考资料:https://segmentfault.com/q/1010000000613729 网上了解到 Bloom Filter ，Bloom filter 是由 Howard Bl 阅读全文

摘要：目录 目录 1 1. 前言 2 2. 部署计划 2 3. 目录结构 2 4. 编译安装 3 5. 修改系统参数 3 5.1. 修改最大可打开文件数 3 5.2. TCP监听队列大小 4 5.3. OOM相关：vm.overcommit_memory 4 5.4. /sys/kernel/mm/tra 阅读全文

摘要：How many slots do you want to move (from 1 to 16384)?，取值范围为1~16384，其中16384为redis cluster的拥有的slots总数，比如想只移动100个，输入100即可。如果迁移的slots数量多，应当设置redis-trib.rb 阅读全文

摘要：Redis 持久化之RDB和AOF Redis 有两种持久化方案，RDB （Redis DataBase）和 AOF （Append Only File）。如果你想快速了解和使用RDB和AOF，可以直接跳到文章底部看总结。本章节通过配置文件，触发快照的方式，恢复数据的操作，命令操作演示，优缺点来学习 阅读全文

摘要：异常详细信息 1 Exception in thread "main" redis.clients.jedis.exceptions.JedisDataException: MISCONF Redis is configured to save RDB snapshots, but is curre 阅读全文

摘要：之前简单介绍了CentOS下单机部署RabbltMQ环境的操作记录，下面详细说下RabbitMQ集群知识，RabbitMQ是用erlang开发的，集群非常方便，因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡。 Rabbit集群模式大概分为以下三种：单一模式、普通模式、镜像模式，其中 阅读全文

摘要：设置Redis最大占用内存 Redis需要设置最大占用内存吗？如果Redis内存使用超出了设置的最大值会怎样？ 设置Redis最大占用内存 Redis设置最大占用内存，打开redis配置文件，找到如下段落，设置maxmemory参数，maxmemory是bytes字节类型，注意转换。修改如下所示： 阅读全文

摘要：背景： Redis 3.0之后支持了Cluster，大大增强了Redis水平扩展的能力。Redis Cluster是Redis官方的集群实现方案，在此之前已经有第三方Redis集群解决方案，如Twenproxy、Codis，与其不同的是：Redis Cluster并非使用Porxy的模式来连接集群节 阅读全文

摘要：redis reshard 重新分槽（slots） https://github.com/antirez/redis/issues/5029 redis 官方已确认该bug redis 集群重新（reshard）分片故障 [ERR] Calling MIGRATE ERR Syntax error, 阅读全文

摘要：查找了一些redis迁移的方法，一般做法就是 1. 从源数据库把rdb文件保存，然后传到新的主机上，启动新的redis即可 2. 把新的redis当做源数据库的slave，同步数据 今天开发提了一个测试需求，要求把一个备份的rdb文件数据保存到另一个redis（110主机）的15号库中（默认的是0） 阅读全文

摘要：问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d 阅读全文

摘要：清风万里的季节，周末本该和亲人朋友一起消遣这烂漫的花花草草，或是懒洋洋的晒个太阳听听风声鸟鸣。无奈工作使然，理想使然，我回到啦公司，敲起啦键盘，撸起啦代码，程序狗的世界一片黯然，一片黯然，愿天下所有努力的程序狗都梦想成真吧！！ 回到正题，为什么搭建rabbitmq集群？rabbitmq集群有那些模式 阅读全文

摘要：Redis Cluster集群 一、redis-cluster设计 Redis集群搭建的方式有多种，例如使用zookeeper等，但从redis 3.0之后版本支持redis-cluster集群，Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有 节点连接 阅读全文

摘要：节点设置密码 1、修改配置文件 在配置文件里面增加密码选项，一定要加上masterauth，不然Redirected的时候会失败。 masterauth redispassword requirepass redispassword 修改后需要重启redis节点。 2、动态修改 连接redis节点进 阅读全文

摘要：zabbix可不仅仅只有监控功能，还支持远程执行命令，实现简单自动化运维 以下以监控mysql的3306端口为例，如该端口异常关闭，自动执行命令重启mysql 创建一个监听3306的监控项，键值按照这样写也可以。不过可能换成net.tcp.listen[3306]会更合适一些 表达式那里，点击右边的 阅读全文

摘要：系统环境: Centos 6.4 一直觉得 zabbix 很简单，但是还是有好多人看了好多文档都搞不明白怎么用，我从2013年使用到现在也小有心得，如果时间允许，很高兴与大家一起分享我在使用过程中的一些小技巧和小经验。好了至于什么是zabbix之类的废话就不多说了，有兴趣可以看看别人写的，我只想说z 阅读全文

摘要：监控及zabbix 目录： 1 监控分类... 1 1.1 硬件监控... 1 1.2 系统监控... 2 1.3 网络监控... 3 1.4 应用（业务）监控... 3 2 安装zabbix. 3 2.1 安装zabbix服务端... 3 2.2 安装zibbix客户端... 9 2.3 添加za 阅读全文

摘要：什么是monit Monit是一个跨平台的用来监控Unix/linux系统（比如Linux、BSD、OSX、Solaris）的工具。Monit特别易于安装，而且非常轻量级（只有500KB大小），并且不依赖任何第三方程序、插件或者库。Monit可以监控服务器进程状态、端口状态，HTTP/TCP状态码、 阅读全文

摘要：Flask默认是不支持非阻塞IO的，表现为： 当 请求1未完成之前，请求2是需要等待处理状态，效率非常低。 在flask中非阻塞实现可以由2种： 启用flask多线程机制 # Flask from flask import Flask, request, g import os import sys 阅读全文

摘要：最近在开发同步mysql数据到redis的接口，因为数据同步涉及各种增删查改，如果用同步实现，可能回造成连接超时、堵塞，所以，使用python实现异步任务。 代码实现from flask import Flaskimport timefrom concurrent.futures import Th 阅读全文

摘要：文章大纲 一、C/C++二、C#三、cocos2d-x四、go语言五、Hadoop六、HBase七、PHP八、python九、Spark十、Storm十一、Unity3D十二、Java十三、Android十四、Object-C与swift十五、.NET十六、R语言 一、C/C++ 1. 简介 C语言 阅读全文

摘要：这几天小秋去面试了，不过最近小秋学习了不少和位算法相关文章，例如 【面试现场】如何判断一个数是否在40亿个整数中？ 【算法技巧】位运算装逼指南 对于算法题还是有点信心的，，，，于是，发现了如下对话。 20亿级别 面试官：如果我给你 2GB 的内存，并且给你 20 亿个 int 型整数，让你来找出次数 阅读全文

摘要：转载：MongoDB WriteConcern（写关注）机制 http://www.ywnds.com/?p=3688&viewuser=40 MongoDB部署模式 MongoDB的部署模式有三种：第一种是单机模式（开发测试）；第二种是高可用复制集；第三种是可扩展分片集群。如下图所示。 知道了Mo 阅读全文

摘要：写入策略(WriteConcern) mongodb的写入策略有多种方式，写入策略是指当客户端发起写入请求后，数据库什么时候给应答，mongodb有三种处理策略：客户端发出去的时候，服务器收到请求的时候，服务器写入磁盘的时候 Unacknowledged 客户端发出请求丢到socket的时候就收到相 阅读全文

摘要：#启用日志文件，默认启用 journal=true #这个选项可以过滤掉一些无用的日志信息，若需要调试使用请设置为false quiet=false # 日志文件位置 logpath=/usr/local/server/mongodb/logs # 以追加方式写入日志 logappend=true 阅读全文

摘要：技术若只如初见，那么还会踩坑么? 在系统引入 MongoDB 也有几年了，一开始是因为 MySQL 中有单表记录增长太快（每天几千万条吧）容易拖慢 MySQL 的主从复制。而这类数据增长迅速的流水表，对数据一致性也没那么高要求，而且业务上也不需要关联查询它，就考虑分出去。为什么是 MongoDB？刚 阅读全文