xibuhaohao - 博客园

2019年8月8日

摘要：在工作中，我们经常需要查看服务器的实时网卡流量。通常，我们会通过这几种方式查看Linux服务器的实时网卡流量。 1. sar -n DEV 1 2 sar命令包含在sysstat工具包中，提供系统的众多统计数据。其在不同的系统上命令有些差异，某些系统提供的sar支持基于网络接口的数据统计，也可以查看阅读全文

posted @ 2019-08-08 15:37 xibuhaohao 阅读(1013) 评论(0) 推荐(0) 编辑

MongoDB 副本集的常用操作及原理

摘要：本文是对MongoDB副本集常用操作的一个汇总，同时也穿插着介绍了操作背后的原理及注意点。结合之前的文章：MongoDB副本集的搭建，大家可以在较短的时间内熟悉MongoDB的搭建和管理。下面的操作主要分为两个部分： 1. 修改节点状态主要包括： 1> 将Primary节点降级为Seconda 阅读全文

posted @ 2019-08-08 11:39 xibuhaohao 阅读(1211) 评论(0) 推荐(0) 编辑

MongoDB 副本集主从切换方法

摘要：一、方法一rs.setpDown() 将Primary节点降级为Secondary节点这个命令会让primary降级为Secondary节点，并维持60s，如果这段时间内没有新的primary被选举出来，这个节点可以要求重新进行选举。也可手动指定时间在执行完该命令后，原Secondary no 阅读全文

posted @ 2019-08-08 11:38 xibuhaohao 阅读(6356) 评论(0) 推荐(0) 编辑

2019年8月7日

MongoDB 副本集节点添加与删除

摘要： replica set多服务器主从，添加，删除节点，肯定会经常遇到的。下面详细说明一下，添加，删除节点的2种方法。查看复制集 PRIMARY>rs.status() 一，利用rs.reconfig，来添加，删除节点 1，添加节点查看复制打印 repmore:PRIMARY> config = { 阅读全文

posted @ 2019-08-07 18:17 xibuhaohao 阅读(6307) 评论(0) 推荐(0) 编辑

Linux 硬件软件时间同步

摘要：同步BIOS时钟，强制把系统时间写入CMOS 重新启动系统，硬件时间会读取系统时间，实现同步；但是在不重新启动的时候，需要用hwclock或clock命令实现同步。让linux自动从time.windows.com自动同步时间加上一句自动同步时间：转载自： https://www.cnblog 阅读全文

posted @ 2019-08-07 16:17 xibuhaohao 阅读(954) 评论(0) 推荐(0) 编辑

Linux ntp 时间同步服务配置

摘要：一、基础环境 1、操作系统：CentOS 7.3 2、ntp：4.2.6 3、机器，服务端（192.168.1.210）客户端（192.168.1.211）二、安装ntp yum -y install ntp 三、服务端配置（192.168.1.210） vim /etc/ntp.conf res 阅读全文

posted @ 2019-08-07 14:43 xibuhaohao 阅读(427) 评论(0) 推荐(0) 编辑

MongoDB oplog详解

摘要： 1：oplog简介 oplog是local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。 Oplog 可以说是Mongodb Replication的纽阅读全文

posted @ 2019-08-07 13:40 xibuhaohao 阅读(294) 评论(0) 推荐(0) 编辑

MongoDB 查看存储引擎

摘要：需要登录到具体的主/从节点查询，mongos查询不到 db.serverStatus() 其中有这个 "storageEngine" : { "name" : "wiredTiger", "supportsCommittedReads" : true, "readOnly" : false, "pe 阅读全文

posted @ 2019-08-07 11:43 xibuhaohao 阅读(1430) 评论(0) 推荐(0) 编辑

2019年8月5日

MongoDB 查看集合是否分片

摘要： MongoDB会把分片过的集合保存在config.collection集合中，若需要查看分片键，则需要根据该集合进行查找。官方的其他很多分片快捷命令也都处于config库三种方式 1、去config库中查询这种办法可以查看分片键信息 db.collections.find({$and: [ {' 阅读全文

posted @ 2019-08-05 15:48 xibuhaohao 阅读(1486) 评论(0) 推荐(0) 编辑

MongoDB-3.2 oplog删除策略优化

摘要： MongoDB oplog是一个capped collection，创建capped collection时，createCollection可以设置size（最大字节数）和max（最大文档数）的参数，当这个集合的『总大小超过size』或者『总文档数超过max』时，在新插入文档时就会自动删除一些集合阅读全文

posted @ 2019-08-05 15:25 xibuhaohao 阅读(562) 评论(0) 推荐(0) 编辑

mongodb mongod.lock文件及oplog文件

摘要：在mongodb的启动时，在数据目录下，会生成一个mongod.lock文件。如果在正常退出时，会清除这个mongod.lock文件，若要是异常退出，在下次启动的时候，会禁止启动，从而保留一份干净的一份副本数据。有人可能会想到删除这个文件，建议请不要这么做。如果这么做，我们也不知道数据文件是否会损阅读全文

posted @ 2019-08-05 15:13 xibuhaohao 阅读(515) 评论(0) 推荐(0) 编辑

mongod 命令常用参数 mongod常用命令参数大全

摘要：成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 mongod.exe - 数据库的服务器端，相当于mysql的 mysqld命令，启动服务器端 mongo.exe - 阅读全文

posted @ 2019-08-05 15:07 xibuhaohao 阅读(1036) 评论(0) 推荐(0) 编辑

Mongodb 查询优化（慢查询Profiling）

摘要：开启慢查询Profiling Profiling级别说明 1、通过修改配置文件开启Profiling 修改启动mongo.conf，插入以下代码 2、在启动mongodb服务以后，通过mongoshell来进行临时性打开启，只要关闭了mongodb服务，下次开启就不会启动，还得再开一次（1）、在m 阅读全文

posted @ 2019-08-05 10:24 xibuhaohao 阅读(859) 评论(0) 推荐(0) 编辑

2019年8月1日

Shared Nothing、Shared Everthting、Shared Disk

摘要：数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk：1.Shared Everything:一般是针对单个主机，完全透明共享CPU/MEMORY/IO，并行处理能力是最差的，典型的代表SQLServer以及一些用了单节点oracle、my 阅读全文

posted @ 2019-08-01 17:40 xibuhaohao 阅读(531) 评论(0) 推荐(0) 编辑

Mysql 双主--keepalived

摘要：简介编辑 Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人阅读全文

posted @ 2019-08-01 08:53 xibuhaohao 阅读(211) 评论(0) 推荐(0) 编辑

网络OSI和TCP/IP参考模型详解

摘要：网络模型对应协议转载自： https://www.2cto.com/kf/201612/576253.html 阅读全文

posted @ 2019-08-01 08:50 xibuhaohao 阅读(148) 评论(0) 推荐(0) 编辑

2019年7月31日

MongoDB 如何使用内存？为什么内存满了？

摘要：最近接到多个MongoDB内存方面的线上case及社区问题咨询，主要集中在: 为什么我的 MongoDB 使用了 XX GB 内存？一个机器上部署多个 Mongod 实例/进程，WiredTiger cache 应该如何配置？ MongoDB 是否应该使用 SWAP 空间来降低内存压力？ Mong 阅读全文

posted @ 2019-07-31 17:59 xibuhaohao 阅读(312) 评论(0) 推荐(0) 编辑

mongodb WiredTiger 内存分配

摘要：转载自勤奋的小青蛙 mongodb占用内存非常高，这是因为官方为了提升存储的效率，设计就这么设计的。但是大部分的个人开发者所购买的服务器内存并没有那么大，所以，我们需要配置下MongoDB的内存缓存大小，不然mongodb会占用非常多。官方的配置缓存项处文档是这么解释的： WiredTiger 阅读全文

posted @ 2019-07-31 17:55 xibuhaohao 阅读(1018) 评论(0) 推荐(0) 编辑

MongoDB 建立与删除索引

摘要： 1.1 在独立服务器上面建立索引在独立服务器上面创建索引，可以在空闲时间于后台建立索引。在后台建立索引，可利用background:true参数运行 >db.foo.ensureIndex({"somefield":1,{:background":true}) 1、任何类型的索引均可在后台完成建阅读全文

posted @ 2019-07-31 17:06 xibuhaohao 阅读(920) 评论(0) 推荐(0) 编辑

MongoDB 系统分析器

摘要： 1.1 系统分析器作用可以利用系统分析器（system profiler）来查找耗时过长的操作。系统分析器可记录特殊集合system.profile中的操作，并提供大量有关耗时长的操作信息，但相应的，会导致数据库性能有所下降。因此，我们可能只需要定期打开分析器来获取信息即可。如系统已经负载过重，阅读全文

posted @ 2019-07-31 13:43 xibuhaohao 阅读(206) 评论(0) 推荐(0) 编辑

MongoDB 了解正在进行的操作

摘要： 1.1 查看正在进行的操作使用db.currentOp()函数： >db.currentOp() 1、opid 这是操作的唯一标识符，可以通过它来终止操作 2、active 表示操作是否正在进行。如果为false表示操作已交出或正在等其他操作交出锁 3、secs_running 表示该操作已经执行阅读全文

posted @ 2019-07-31 11:19 xibuhaohao 阅读(225) 评论(0) 推荐(0) 编辑

MongoDB 分片管理（四）数据均衡 -- 特大快

摘要： 1.1 特大快形成如果用date字段作为片键，集合中date是一个日期字符串，如：year/month/day，也就是说，mongoDB一天创建一个块。因块内所有文档的片键一样，因此这些块是不可拆分的。如果块超出了config.settings中设置的最大块大小，那么均衡器就无法移动这个块了。这阅读全文

posted @ 2019-07-31 09:25 xibuhaohao 阅读(330) 评论(0) 推荐(0) 编辑

2019年7月30日

MongoDB 分片管理（四）数据均衡

摘要：通常来说，MongoDB会自动处理数据均衡。 1.1 集群分片的块的均衡注意，均衡器只使用块的数量，而非数据大小，来作为衡量分片间是否均衡的指标。 1.2 均衡器 1、执行所有数据库管理操作前，都应关闭均衡器 >sh.setBalancerState(flase) --不可用 >sh.stopBa 阅读全文

posted @ 2019-07-30 17:50 xibuhaohao 阅读(850) 评论(0) 推荐(0) 编辑

MongoDB 分片管理（三）服务器管理

摘要： MongoDB 分片管理（三）服务器管理阅读全文

posted @ 2019-07-30 17:49 xibuhaohao 阅读(124) 评论(0) 推荐(0) 编辑

MongoDB 分片管理（二）查看网络连接

摘要： 1.1 查看连接统计 connPoolStats，查看mongos与mongod之间的连接信息，并可得知服务器上打开的所有连接 1.2 限制连接数量阅读全文

posted @ 2019-07-30 17:36 xibuhaohao 阅读(205) 评论(0) 推荐(0) 编辑

Mongodb 分片手动维护chunk

摘要：去年的笔记 For instance, if a chunk represents a single shard key value, then MongoDB cannot split the chunk even when the chunk exceeds the size at which 阅读全文

posted @ 2019-07-30 16:31 xibuhaohao 阅读(468) 评论(0) 推荐(0) 编辑

MongoDB 分片键分类与数据分发

摘要： In sharded clusters, if you do not use the _id field as the shard key, then your application must ensure the uniqueness of the values in the _id field 阅读全文

posted @ 2019-07-30 15:47 xibuhaohao 阅读(538) 评论(0) 推荐(0) 编辑

MongoDB 分片管理（一）检查集群状态

摘要：一、检查集群状态 1.1 使用sh.status()查看集群摘要信息 1、使用sh.status()可以查看分片信息、数据库信息、集合信息 sh.status() 如果数据块较多时，使用sh.status(true) 又是输出会很多，就不会截断，要使用如下查看 2、too many chunks t 阅读全文

posted @ 2019-07-30 13:35 xibuhaohao 阅读(2865) 评论(0) 推荐(0) 编辑

2019年7月29日

MongoDB 副本集

摘要： 1、创建副本集 1）创建副本集 replicaSet = new ReplSetTest({"nodes":3}) 2）启动3个mongod进程 replicaSet.startSet() 3）配置复制功能 replicaSet.initiate() 4）查看副本集状态 conn1 = new Mo 阅读全文

posted @ 2019-07-29 17:46 xibuhaohao 阅读(218) 评论(0) 推荐(0) 编辑

2019年7月26日

MongoDB 集群设置集合分片生效及查看集合分片情况

摘要：一、设计DB分片与Collection分片 #连接mongos /opt/mongodb/mongodb-linux-x86_64-2.4.8/bin/mongo 127.0.0.1:27017 #使用admin数据库 use admin #指定testdb分片生效 db.runCommand( { 阅读全文

posted @ 2019-07-26 17:19 xibuhaohao 阅读(1070) 评论(0) 推荐(0) 编辑

mongodb 导入json文件遇到的坑

摘要：使用mongoimport命令导入外部json文件时，发现一直报错报错结果如下： json数据格式完全正确如下：经过再三确认格式最终找到解决方案，原来用cmd导入数据时json { }包含的数据必须在同一行更改格式之后再次使用同样命令，即可导入成功。转载自： https://www.cnbl 阅读全文

posted @ 2019-07-26 16:40 xibuhaohao 阅读(1433) 评论(0) 推荐(0) 编辑

GreenPlum/postgres copy命令导出/导入数据

摘要：一、COPY命令简单实用一、COPY命令简单实用 1、copy在postgres与GreenPlum介绍 1.1 postgrespostgres的COPY命令可以快速的导出/导入数据到postgresql数据库中，支持常用的文件格式，如：txt、sql、csv、压缩文件、二进制格式等。特别适合批阅读全文

posted @ 2019-07-26 15:06 xibuhaohao 阅读(4008) 评论(0) 推荐(0) 编辑

Mongo mongoexport/mongoimport介绍

摘要：一、Mongoexport导出数据 1,导出json数据 mongoexport -d db -c collection -o save-file.dat 2,导出CSV数据 mongoexport -d db -c collection --type=csv -f field1,field2 -o 阅读全文

posted @ 2019-07-26 14:47 xibuhaohao 阅读(729) 评论(0) 推荐(0) 编辑

mongoDB之监控工具mongostat

摘要： mongostat是mongdb自带的状态检测工具，在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态，并输出。如果你发现数据库突然变慢或者有其他问题的话，你第一手的操作就考虑采用mongostat来查看mongo的状态。 mongostat命令格式，当然也可以加参数：在第一个例子中阅读全文

posted @ 2019-07-26 14:25 xibuhaohao 阅读(218) 评论(0) 推荐(0) 编辑

2019年7月25日

Oracle ORA-00600[2662] 解决

摘要：一、问题描述 1、数据库情况 1）数据库版本：11.2.0.4； 2）未开启归档； 3）没有备份：无RMAN备份、无DUMP备份； 4）数据库redo log 日志组，每组只有一个成员； 2、问题出现原因因公司断电，导致生产数据库宕机，开启后，出现ORA-00600[2662]问题：ORA-006 阅读全文

posted @ 2019-07-25 13:33 xibuhaohao 阅读(2983) 评论(1) 推荐(1) 编辑

2019年7月24日

ORA-00600[2662]问题汇总

摘要：一、ORA-00600[2662]问题模拟及解决方法参照eygle的相关技术blog，测试下_disable_logging将对数据库产生的影响，由于是隐含参数，所以我们通过如下方法获取对这个参数的描述：SQL> select ksppinm,ksppdesc from x$ksppi where 阅读全文

posted @ 2019-07-24 17:05 xibuhaohao 阅读(1309) 评论(0) 推荐(0) 编辑

Oracle 控制文件损坏解决方案

摘要： Oracle 控制文件损坏解决方案故障一：丢失(损坏)一个控制文件前台报错：ORA-00205：error in identifying control file,check alert log for more info 解决方案：(干净或非干净方式关闭数据库) 使用完好的控制文件复制(替换) 阅读全文

posted @ 2019-07-24 09:51 xibuhaohao 阅读(3765) 评论(0) 推荐(0) 编辑

oracle 备份恢复之recover database的四条语句区别

摘要： 1 recover database using backup controlfile2 recover database until cancel3 recover database using backup controlfile until cancel;4 recover database 阅读全文

posted @ 2019-07-24 09:19 xibuhaohao 阅读(312) 评论(0) 推荐(0) 编辑

2019年7月23日

mongodb 4.0.5 集群搭建五台集群

摘要：配置文件采用yaml方式来配置生产中取消了仲裁者的角色，因为仲裁者也不会存储数据，只是起到选举的作用，线上为了保证数据安全，每份数据都会配置两个副本集，也就是每份数据存储了三份。优化配置，采用五台集群使用非root账户搭建mongodb集群。环境准备系统系统 centos7.4五台服务器：阅读全文

posted @ 2019-07-23 09:17 xibuhaohao 阅读(290) 评论(0) 推荐(0) 编辑

2019年7月22日

MongoDB 3.4 功能改进一览

摘要： MongoDB 3.4 已经发布，本文主要介绍 3.4 版本在功能特性上做的改进，内容翻译自 [https://docs.mongodb.com/manual/release-notes/3.4/?_ga=1.74729233.2005306875.1453858874)。分片集群（Sharded 阅读全文

posted @ 2019-07-22 16:20 xibuhaohao 阅读(365) 评论(0) 推荐(0) 编辑

公告