07 2019 档案
摘要：目前公司有一套核心交易数据库配置了AlWaysON，SQL 2012版本， 1主4从， 其从库(8,14, 8.15) 这2台只读的从数据库服务器， 后台程序和wms等很多程序，都是直接配置IP连接这个2个机器，而且这2台机器已经过保，如果其中一天机器出现故障，不能使用，怎么处理？ 怎么解决？ 先谈
阅读全文
摘要：Hbase架构与原理 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoo
阅读全文
摘要：热点问题 hbase 中的行是以 rowkey 的字典序排序的，这种设计优化了scan 操作，可以将相关的 行 以及会被一起读取的行 存取在临近位置，便于 scan 。 然而，糟糕的 rowkey 设计是 热点 的源头。 热点发生在大量的客户端直接访问集群的一个或极少数节点。访问可以是读，写，或者其
阅读全文
摘要：值，如果该值为0，则默认值为max_binlog_size(1G)；如果不为0，则max_relay_log_size则为最大的relay_log文件大小； relay-log-purge = 1 #是否自动清空不再需要中继日志时。默认值为1(启用) expire_logs_days = 30 #超过 30 天的 binlog 删除 binlog_cache_size = 1M # 在一个事务中...
阅读全文
摘要：经常有用户咨询：MongoDB CPU 利用率很高，都快跑满了，应该怎么办？ 遇到这个问题，99.9999% 的可能性是「用户使用上不合理导致」，本文主要介绍从应用的角度如何排查 MongoDB CPU 利用率高的问题。 Step1: 分析数据库正在执行的请求 用户可以通过 Mongo Shell
阅读全文
摘要：MongoDB的自动分片： test库分片配置： db.shards.find(){ "_id" : "shard0000", "host" : "127.0.0.1:29017", "state" : 1 }{ "_id" : "shard0001", "host" : "127.0.0.1:29
阅读全文
摘要：一. 聚合框架 聚合框架是MongoDB的高级查询语言，它允许我们通过转换和合并多个文档中的数据来生成新的单个文档中不存在的信息。 聚合管道操作主要包含下面几个部分： $lookup 在本篇幅中，我们聚焦$lookup的使用。 二. $lookup的功能及语法 1. 主要功能 是将每个输入待处理的文
阅读全文
摘要：首先我们要移除的分片之后再次添加此分片时会出现添加失败的情况，需要在添加的分片上登录进行删除此分片之前数据库的历史数据比如testdb，删除分片上的数据库之后就可重新添加此分片到mongos中1、执行RemoveShard命令 db.runCommand( { removeshard: "your_
阅读全文
摘要：一、概念： 分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。
阅读全文
摘要：问题1：非正常关闭服务或关机后 mongod服务无法正常启动 在使用中发现mongodb 的服务可能因为非正常关闭而启动不了，这时我们通过 删除data目录下的 *.lock文件，再运行下/mongodb_binpath/mongod -repair -f config文件路径 再启动即可 也可以在
阅读全文
摘要：分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用. 1.分片简介 分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能 强大的大型计算机就可以存储更多的数据,处理更大的负载. 使用几乎所有数据库软件都能
阅读全文
摘要：下载驱动包： https://pypi.org/project/pymongo/ 解压： tar zxvf pymongo-3.8.0.tar.gz 安装： python setup.py install 测试python环境中与monogdb的交互。
阅读全文
摘要：mongodump： 在MongoDB中我们使用mongodump命令来备份MongoDB数据。该命令可以导出所有数据到指定目录中。 ./bin/mongodump -h dbhost -d dbname -o yourdirectory ./bin/mongodump --host mongodb
阅读全文
摘要：在这篇文章里面，我们会演示如何在 MongoDB 中使用 MapReduce 操作。 我们会用 dummy-json 这个包来生成一些虚假的数据，然后用 Mongojs 如果想要快速看到结果，可以到 这里 里看看。 什么是 MongoDB ? MongoDB 是一个 NoSQL 数据库，不像 MyS
阅读全文
摘要：管道与Aggregation： 文档结构如下： { "_id" : 1, "item" : "abc", "price" : 10, "quantity" : 2, "date" : ISODate("2014-03-01T08:00:00Z") } { "_id" : 2, "item" : "j
阅读全文
摘要：mongodb的sharding集群由以下3个服务组成： Shards Server: 每个shard由一个或多个mongod进程组成，用于存储数据 Config Server: 用于存储集群的Metadata信息，包括每个Shard的信息和chunks信息 Route Server: 用于提供路由
阅读全文
摘要：首先介绍一下在replica set里分为三种节点类型： 1 primary 负责client的读写。 2 secondary 作为热备节点，应用Primary的oplog读取的操作日志,和primary保持一致，不提供读写操作！ secondary有两种类型: 1)normal secondary
阅读全文
摘要：关闭 1，非后台运行时，关闭对话，或者ctrl+c 2，登录数据库执行：db.shutdownServer(); 3，带数据目录，关闭服务器，安全 mongod --shutdown --dbpath /database/mongodb/data/ /usr/local/mongodb/bin/mo
阅读全文
摘要：单机下执行： mongo --port 27018 进入节点： 再将其他两个从节点加入到该复制集中 通过rs.status()查看效果，可以看到myset这个复制集中已经有了三个节点，stateStr指明了节点的类型，health为1表明该节点是健康的。 从库查看： db.isMaster(); m
阅读全文
摘要：主从服务器的实现原理 首先,主节点会把本服务的与写有关的操作记录下来,读操来不记录,这些操作就记录在local数据库中的oplog.$admin这个集合中,这是一个固定集合,大小是可以配置的,主要是通过配置oplogSize这个参数来实现,单位是M,大小一般为磁盘剩余空间的5%左右.因为是固定集合所
阅读全文
摘要：一背景 早上7点多接到一个数据库服务器空间报警，磁盘空间不足。登陆数据库查看，MySQL slave 大量延迟，有68G 的relay log。查看slave status 发现Relay_Log_Pos ,Exec_Master_Log_Pos 位点始终不变，当时的状态展示如下: 二 分析 根据s
阅读全文
摘要：当你进入了 Linux 的世界，在下载、安装 了某个 Linux 发行版，体验了 Linux 桌面并安装了一些你喜爱和需要的软件之后，应该去了解下 Linux 真正的魅力所在：命令行。每一个 Linux 命令其实就是一个程序，借助这些命令，我们可以办到非常多的事情。下面将会为大家介绍一下几个常用的命
阅读全文
摘要：工作过程中有时候会接收到数据库服务器器load 飙高的报警,比如: load1 15.25 base: 8.52,collect time:2014-08-30 如何处理load 异常飙高的报警呢？ 本文尝试从原理，原因，解决方法来阐述这类问题的解决思路。 一 原理分析 CPU作为服务器的关键资源经
阅读全文
摘要：在MySQL的管理过程中，会遇到PC Server脱机或者重启，我需要在主机启动后再将MySQL服务启动。如果上百台或者更多的MySQL主机进行维护时，可能会有多台主机出现类似问题，要是每次都手动操作，是很繁琐的事情。我们可以采用随系统一起启动MySQL服务，这样就解决了频繁手动启动MySQL的问题
阅读全文
摘要：1 mysql_safe 原理 mysqld_safe其实为一个shell脚本(封装mysqld)，启动时需要调用server和database(即/bin和/data目录)，因此需要满足下述条件之一： 1 /bin和/data和mysql_safe脚本位于同一目录； 2 如果本地目录找不到找到/b
阅读全文
摘要：mysqlslap 是MySQL自带的压测工具： 上面： mysqlslap压测 ，端口是18601 ，sock文件， 查询次数100万次，10个并发，看其耗时情况
阅读全文
摘要：2019年04月17日 陈皓 评论 77 条评论 70,425 人阅读 那一年，我加入了某知名公司的某知名部门，在办公室中，我看到了到处都挂着——“努力就会成功”的条幅，这个部门中大多数员工的邮件签名都会有“努力就会成功”，我感到一种热血沸腾的气氛，这是我在多年工作来都没有感受到的，当时挺高兴地能和
阅读全文
摘要：配置 vi mongodb.conf 启动mongodb:
阅读全文
摘要：这篇文章主要介绍了Linux系统下MongoDB的简单安装与基本操作,需要的朋友可以参考下 这篇文章主要介绍了Linux系统下MongoDB的简单安装与基本操作,需要的朋友可以参考下 Mongo DB ,是目前在IT行业非常流行的一种非关系型数据库(NoSql),其灵活的数据存储方式,备受当前IT从
阅读全文
摘要：这几天，公司测试压测从早上5:00--5:20 压测4万订单，测试活动期间，数据库的性能怎样， 开发早上起来发现，最近几天，更新库存的时间变慢的，是从6月10号开始的，就问从10号有做变更没有，我这边查数据库监控没问题！ 但是在CAT的监控上，更新库存需要6秒以上： 后来和开发人员沟通，以前更新库存
阅读全文
浙公网安备 33010602011771号