2020年10月14日
摘要：
转载自：https://www.cnblogs.com/xianghuaqiang/p/13717013.html 1 前言 1.1 Barman简介 barman（备份和恢复管理器）是用于PostgreSQL服务器进行灾难恢复的开源管理工具，是以Python编写的。它支持对多台服务器执行远程备份， 阅读全文
2020年10月14日
2020年10月12日
摘要：
转载自： https://database.51cto.com/art/201908/601020.htm 详细的PostgreSQL工具总结：备份恢复、监控、复制、高可用等 今天主要介绍一些PostgreSQL的工具，大体上可以分为以下几类,下面，我们一起来看。 作者：波波说运维来源：今日头条|2 阅读全文
2020年10月10日
摘要：
经过实践，总结以下比较好的limit分页优化方案 1. 模仿百度、谷歌方案（前端业务控制） 类似于分段。我们给每次只能翻100页、超过一百页的需要重新加载后面的100页。这样就解决了每次加载数量数据大 速度慢的问题了 2. 记录每次取出的最大id， 然后where id > 最大id select 阅读全文
2020年8月27日
摘要：
> db.test.find(); { "_id" : ObjectId("5d0c9094e07a14a96b41b7c9"), "id" : 20162, "create_time" : 1554195600, "time" : "2019-04-02 17:00:00" } { "_id" : 阅读全文
2020年8月16日
摘要：
一、创建导出CSV用的存储过程 CREATE OR REPLACE PROCEDURE SQL_TO_CSV( P_QUERY IN VARCHAR2, -- PLSQL文 P_DIR IN VARCHAR2, -- 导出的文件放置目录 P_FILENAME IN VARCHAR2 -- CSV名 阅读全文
2020年8月12日
摘要：
PostgreSQL DB： https://www.postgresql.org/download/ PostgreSQL 插件： https://github.com/timescale/timescaledb/tags 阅读全文
2020年8月11日
摘要：
1. 启动pgAdmin4 2. 选择Configure... 3. 将浏览器的地址填入Browser Command, 最后点击OK，重启pgAdmin4 4. 重启之后将默认浏览器更改为Chrome浏览器 查看Chrome安装路径 chrome://version/ zheng 阅读全文
2020年8月6日
摘要：
SQL多版本，自由表过期设置 链接：https://www.eygle.com/archives/2015/06/sql_version_count.html 在上一期的"恩墨讲堂"微信课中，我提到了一个控制SQL多版本的参数，有很多朋友讨论，这个参数是：_CURSOR_OBSOLETE_THRES 阅读全文
2020年8月3日
摘要：
环境 操作系统： CentOS7.2.1511 x86_64 准备安装包 在这个网站：https://www.oracle.com/technetwork/topics/linuxx86-64soft-092277.html 下载如下安装包 oracle-instantclient11.2-basi 阅读全文
2020年7月15日
摘要：
转载自：https://blog.csdn.net/u010453363/article/details/76689435/ 用prometheus主要是监控elk中的elasticsearch和logstash prometheus的clicent收集数据，并提供http服务，由prometheu 阅读全文
2020年7月9日
摘要：
一、什么是条带化 当多个进程同时访问一个磁盘时，可能会出现磁盘冲突。磁盘系统对访问次数（每秒的IO操作，IOPS）和数据传输速率（读写速率，TPS）有限制。 当达到这些限制时，后面需要访问磁盘的进程就需要挂起等待，这就是磁盘冲突。避免磁盘冲突是优化I/O性能的一个重要目标。 条带化技术是一种自动的将 阅读全文
2020年7月8日
摘要：
我有一个my.cnf文件.在其中我看到wait_timeout以及connect_timeout.这两个有什么区别？ 最佳答案 直接来自MySQL文档 > wait_timeout：服务器在关闭非交互式连接之前等待活动的秒数.> connect_timeout：mysqld服务器在响应错误握手之前等 阅读全文
摘要：
alertmanager是通过命令行标记和配置文件配置的，命令行标记配置不可变的系统参数，配置文件定义抑制规则、通知路由和通知接收器。可以通过官方提供的routing tree editor 查看配置的路由树详细信息 默认配置文件如下 [root@node00 ~]# cd /usr/local/p 阅读全文
2020年7月6日
摘要：
转载自：https://cloud.tencent.com/developer/article/1525137 背景 许多用户使用 MongoDB 存储用户的评论数据，并使用 find().skip().limit() 来实现“翻页”功能。 比如每页有100条评论，如果要跳转到第 10 页，可以通过 阅读全文
摘要：
原文连接：https://cloud.tencent.com/developer/article/1592500 导语 在腾讯云MongoDB的运营过程中，发现较多用户对副本集主从复制流程的理解还有些偏差。这些偏差在一定程度上影响了应用程序设计和平时的运营。 本文会聚焦下面几个问题： 写大多数节点是 阅读全文
2020年6月22日
摘要：
批量插入数据，主键冲突报错，并继续执行后面操作 ordered : <boolean> --false 定义 db.collection.bulkWrite() 提供可控执行顺序的批量写操作。 语法格式如下： 1 2 3 4 5 6 7 db.collection.bulkWrite( [ <ope 阅读全文
2020年6月18日
摘要：
如果不了解 MongoDB Sharded Cluster 原理，请先阅读 MongoDB Sharded cluster架构原理 关于MongoDB Sharding，你应该知道的 关于 sharding 迁移，会分3个部分来介绍，本文为第三部分 负载均衡及迁移策略 chunk 迁移流程 Bala 阅读全文
2020年6月11日
摘要：
--日期转时间戳 SELECT EXTRACT(epoch FROM NOW()); SELECT EXTRACT(epoch FROM CAST('2017-12-06 00:17:10' AS TIMESTAMP)); --时间戳转日期 SELECT TO_TIMESTAMP(151249063 阅读全文
2020年6月3日
摘要：
1. 库 1. 库名全部小写，禁止使用任何`_`以外的特殊字符，禁止使用数字打头的库名，如：`123_abc`； 2. 库以文件夹的形式存在，使用特殊字符或其它不规范的命名方式会导致命名混乱； 3. 数据库名最多为64字符； 4. 在创建新的库前应尽量评估该库的体积、QPS等，提前与DBA讨论是应该 阅读全文
摘要：
本系列文章将从逻辑正确、内容完整的角度全面介绍WiredTiger存储引擎。本篇作为WiredTiger存储引擎介绍系列文章第二篇，包含如下内容： Page的生命周期 Page的状态 Page相关参数与调优 通过第一篇介绍，我们了解到数据以page为单位加载到cache、cache里面又会生成各种不 阅读全文
2020年5月21日
摘要：
临近五一节，想到有 5 天假期，小林开始飘了。 写个简单的 Bash 脚本都不上心了，写完连检查都不检查，直接拖到到实体服务器跑。 结果一跑起来，发现不对劲，怎么一个简单脚本跑了 10 秒还没结束，于是立马直接 ctrl + c 一顿操作停掉了运行中的脚本。 接着，习惯性的输入了 ls，结果 wha 阅读全文
2020年5月20日
摘要：
一、导入到ES单个字段 cat json.conf file { path => "/home/mongodb/vsmongo.json" type => "myfirst" start_position => "beginning" } } output { if [type] == "myfir 阅读全文
摘要：
经过修改配置文件，执行以下命令启动服务 nohup bin/logstash -f config/kafka_os_into_es.conf & >通过nohup命令将服务启动的进程放到后台并输出到日志 输出的日志是以nohub.out结尾的日志 可以通过tail -f 进行查看 然后查看日志，报错 阅读全文
2020年5月19日
摘要：
1、match查询：会先对搜索词进行分词，比如“白雪公主和苹果”，会分成“白雪”“公主”“苹果”。含有相关内容的字段，都会被检索出来。2、match_phrase查询：match_phrase与slop一起用，能保证分词间的邻近关系，slop参数告诉match_phrase查询词条能够相隔多远时仍然 阅读全文
2020年5月18日
摘要：
一、数据从文件导入elasticsearch 1、数据准备： 1、数据文件：test.json 2、索引名称：index 3、数据类型：doc 4、批量操作API：bulk {"index":{"_index":"index2","_type":"type2","_id":0}} {"age":10 阅读全文
2020年5月15日
摘要：
1、日期格式YYYY-MM-DD SELECT TO_CHAR(TO_DATE('2018-01-28', 'YYYY-MM-DD') + ROWNUM - 1, 'YYYY-MM-DD') DAY_ID FROM DUAL CONNECT BY ROWNUM <= TO_DATE('2018-02 阅读全文
2020年5月13日
摘要：
MongoDB replica set ： A replica set in MongoDB is a group of mongod processes that maintain the same data set. Replica sets provide redundancy and hig 阅读全文
摘要：
db.getSiblingDB("admin").pbmCmd.findOne() 阅读全文
2020年5月7日
摘要：
转载：https://www.cnblogs.com/yancun8141/articles/10837638.html 想吐槽的是，不知道是公司网络原因，还是其它原因， Percona官网加载的贼慢 目前小编只是想测试PMM Server 能检测到哪些mysql 信息，所有的工具均为联网安装，断网 阅读全文
摘要：
58 同城作为中国最大的生活服务平台，涵盖了房产、招聘、二手、二手车、黄页等核心业务。58 同城发展之初，大规模使用关系型数据库（SQL Server、MySQL 等），随着业务扩展速度增加，数据量和并发量演变的越来越有挑战，此阶段 58 的数据存储架构也需要相应的调整以更好的满足业务快速发展的需求 阅读全文
2020年4月30日
摘要：
我们的linux服务器可能会出现不能够上外网并且尚未配置本地yum源的情况，此时我们需要通过rpm的方式来安装我们需要的依赖包，有的rpm包所需的依赖包有许多，如果一个一个的下载可能会耗时耗力，这时可以使用能上外网的服务器将所需要的包和依赖通过yum方式保存到本地，然后将所需的rpm包拷贝到目的主机 阅读全文
2020年4月29日
摘要：
转载请注明出处：https://www.cnblogs.com/shining5/p/11142357.html MongoDB监控及报警 Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库，其使用go语言开发。基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意 阅读全文
2020年4月22日
摘要：
定义行为输出 定义 ==serverStatusserverStatus命令返回一个文档，该文档提供数据库状态的概述。监控应用程序可以定期运行此命令收集有关该实例的统计信息。db.runCommand( { serverStatus: 1 } ) 值（即1）不会影响命令的操作。同时mongo she 阅读全文
2020年4月21日
摘要：
身份认证： MongoDB安装完成后，默认是没有权限验证的，默认是不需要输入用户名密码即可登录的，但是往往数据库方面我们会出于安全性的考虑而设置用户名密码。即任何客户端都可以使用mongo IP:27017/admin命令登录mongo服务启用访问控制前，请确保在 admin 数据库中拥有 user 阅读全文
2020年4月20日
摘要：
https://www.docs4dev.com/docs/zh/mongodb/v3.6/reference/tutorial-sharding-tiered-hardware-for-varying-slas.html 阅读全文
2020年4月17日
摘要：
MongoDB一共有10种状态，官方将其分为3大类，核心状态（Core States）为三种成员类型对应的属性（PRIMARY/SECONDARY/ARBITER），还有7种属性，被分为其他状态（Other States）和错误状态（Error States）两类。 按照时间序，其他状态分别为STA 阅读全文
2020年4月14日
摘要：
之前环境已经安装过相应环境，我们之间从插件开始安装 参考 ：https://github.com/percona/mongodb_exporter https://github.com/dcu/mongodb_exporter https://github.com/Masterminds/glide 阅读全文
2020年4月13日
摘要：
阅读全文
摘要：
概述 一般来说，SQL查询优化器分析给定查询的许多选项，预估每个选项的成本，最后选择成本最低的选项。如果查询优化器选择了错误的计划，则性能差异可能从几毫秒到几分钟。幸运的是，现在有许多第三方SQL查询优化工具可以自动优化每个SQL查询。这些工具极大地简化了开发人员和数据库管理员的工作，因为他们提供了 阅读全文
2020年4月11日
摘要：
什么是Jumbo chunk 就是超出设定的chunk大小的chunk，默认chunk大小为64M 为什么要处理Jumbo chunk jumbo chunk无法被迁移 如何处理？ # 先找到Jumbo chunk信息 sh.status(true) { "phone" : NumberLong(" 阅读全文