随笔分类 -  mongodb

mongodb配置详解
摘要:#启用日志文件,默认启用 journal=true #这个选项可以过滤掉一些无用的日志信息,若需要调试使用请设置为false quiet=false # 日志文件位置 logpath=/usr/local/server/mongodb/logs # 以追加方式写入日志 logappend=true 阅读全文

posted @ 2019-06-03 18:28 ExplorerMan 阅读(1068) 评论(0) 推荐(0)

MongoDB优化
摘要:技术若只如初见,那么还会踩坑么? 在系统引入 MongoDB 也有几年了,一开始是因为 MySQL 中有单表记录增长太快(每天几千万条吧)容易拖慢 MySQL 的主从复制。而这类数据增长迅速的流水表,对数据一致性也没那么高要求,而且业务上也不需要关联查询它,就考虑分出去。为什么是 MongoDB?刚 阅读全文

posted @ 2019-06-03 18:23 ExplorerMan 阅读(644) 评论(0) 推荐(0)

Mongodb 性能测试
摘要:测试硬件环境 MacPro 处理器名称: Intel Core i7 处理器速度: 2.5 GHz 处理器数目: 1 核总数: 4 L2 缓存(每个核): 256 KB L3 缓存: 6 MB 内存: 16 GB 测试软件环境 MongoDB v3.2.4 300W存量数据 1.1 单条插入性能测试 阅读全文

posted @ 2019-05-30 19:27 ExplorerMan 阅读(3567) 评论(0) 推荐(0)

把 MongoDB 当成是纯内存数据库来使用(Redis 风格)
摘要:基本思想 将MongoDB用作内存数据库(in-memory database),也即,根本就不让MongoDB把数据保存到磁盘中的这种用法,引起了越来越多的人的兴趣。这种用法对于以下应用场合来讲,超实用: 置于慢速RDBMS系统之前的写操作密集型高速缓存 嵌入式系统 无需持久化数据的PCI兼容系统 阅读全文

posted @ 2019-05-30 19:25 ExplorerMan 阅读(3862) 评论(0) 推荐(1)

MongoDB拥有SSD秒杀高富帅使用过程分享
摘要:【IT168现场报道】2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据 阅读全文

posted @ 2019-05-30 19:21 ExplorerMan 阅读(666) 评论(0) 推荐(0)

SSD卡对mongodb的影响
摘要:结论 1:SSD卡显著改善磁盘IO,io占用在50%以下 2:SSD卡使mongodb性能稳定。在200并发,数据量是内存5倍的情况下仍然保证每秒1500次插入和4500次查询。 数据如下: 1:每秒IO完成次数【均在内存用完的时候】 有SSD卡的每秒完成磁盘次数 以及相应次数下磁盘占用% 没有ss 阅读全文

posted @ 2019-05-30 18:42 ExplorerMan 阅读(444) 评论(0) 推荐(0)

对GridFS数据进行分片
摘要:On this page files 集合 chunks 集合 On this page files 集合 chunks 集合 在对 GridFS 存储进行分片时,需要注意以下的情况: files 集合 大多数情况下不需要对 files 集合进行分片,这个集合通常很小,只包含了一些元信息.集合中也没 阅读全文

posted @ 2019-05-30 12:13 ExplorerMan 阅读(632) 评论(0) 推荐(0)

python 将图片存入mongodb,读取图片,gridfs模块
摘要:导入图片引入模块,其中gridfs模块不需要单独安装,引入了pymongo即可直接引入from pymongo import MongoClientfrom gridfs import *import os#链接mongodbclient=MongoClient('localhost',27017) 阅读全文

posted @ 2019-05-30 12:09 ExplorerMan 阅读(2356) 评论(0) 推荐(0)

mongo 慢查询配置
摘要:我是分片部署,所以慢查询相关的配置是在启动片服务上。 执行查询命令,是在share的primary 上。 1. mongodb慢查询 配置 慢查询数据主要存储在 local库的system.profile集合,该集合主要是一个capped collection。 开启方式两种: 第一种:片服务启动时 阅读全文

posted @ 2019-05-22 19:00 ExplorerMan 阅读(369) 评论(0) 推荐(0)

监控Mongo慢查询
摘要:监控Mongo慢查询 1. 使用mongostat监控MongoDB全局情况 mongostat是mongdb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取MongoDB的当前运行状态,并输出。 mongostat是mongdb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取Mon 阅读全文

posted @ 2019-05-22 18:50 ExplorerMan 阅读(394) 评论(0) 推荐(0)

MongoDB 3.6 开启慢查询
摘要:参考:Profiling Levels:支持一下级别。0 默认的profiler level,profiler 关闭并且不收集数据。1 profiler 收集超过slowms的操作数据。2 profiler 收集所有的数据。 设置收集数据:设置级别为1,慢查询标准为200ms. rs0:PRIMAR 阅读全文

posted @ 2019-05-22 18:39 ExplorerMan 阅读(274) 评论(0) 推荐(0)

用shell脚本实现MongoDB数据库自动备份
摘要:一、创建MongoDB备份目录 用来存放数据 mkdir -p /data/mongodb_bak/mongodb_bak_now mkdir -p /data/mongodb_bak/mongodb_bak_list mkdir -p /data/mongodb_bak/mongodb_bak_l 阅读全文

posted @ 2019-05-22 16:44 ExplorerMan 阅读(1148) 评论(0) 推荐(0)

MongoDB 运维实战总结
只有注册用户登录后才能阅读该文。

posted @ 2019-04-29 00:41 ExplorerMan 阅读(13) 评论(0) 推荐(1)

Kibana简介及下载安装
摘要:现在你已经安装了Kibana,现在你一步步通过本教程快速获取Kibana核心功能的实践经验。学习完本教程,你将: 1.加载案例数据到你安装的Elasticsearch中 2. 定义至少一个索引匹配模式 3.使用Discover功能探索你的数据 4.建立一个visualization图形化地展示你的数 阅读全文

posted @ 2019-04-24 21:22 ExplorerMan 阅读(512) 评论(0) 推荐(0)

mongodb分片balance
摘要:查看balance状态 mongos> sh.getBalancerState()true 通过balance锁查看balance活动 如果state是2,表示balance锁已经被获取 mongos> db.locks.find({"_id" : "balancer"}).pretty(){ "_ 阅读全文

posted @ 2019-04-24 16:46 ExplorerMan 阅读(1168) 评论(0) 推荐(0)

mongodb千万级写入怎么优化
摘要:从mysql数据库通过java程序导入单表1300w到mongodb,花了大概50分钟,前1000w条数据中每100w条大概要3分钟,之后的300多w条就差不多每100w条要5到6分钟,之后再从其他的mysql表里面导入数据就会越来越慢,请问可以从那些方面可以优化mongodb的写入操作?这是我记录 阅读全文

posted @ 2019-04-24 13:11 ExplorerMan 阅读(2966) 评论(0) 推荐(0)

mongodb启动很慢
摘要:故障现象mongodb重启后,等了几十分钟还一直没启动完成,单节点副本集,状态一直处于startup 原因分析查看mongod的错误日志,发现一直处于building index,但根据之前的经验,只有在重做secondary节点的时候才会经常处于building index状态,而这个db是pri 阅读全文

posted @ 2019-04-23 19:52 ExplorerMan 阅读(893) 评论(0) 推荐(0)

MongoDB内存配置 --wiredTigerCacheSizeGB
摘要:用top命令查看系统占用内存的情况 top -p $(pidof mongod),发现mongod占用了8G内存的35.6%。在服务器上运行两个mongod进程,很容易导致mongod异常退出。 一度以为是C++程序发生内存泄漏导致了系统异常崩溃,现在可以肯定是由mongod配置的内存占用太高导致的 阅读全文

posted @ 2019-04-23 19:51 ExplorerMan 阅读(1909) 评论(0) 推荐(0)

进程监控工具supervisor 启动Mongodb
摘要:进程监控工具supervisor 启动Mongodb 一什么是supervisor Superviosr是一个UNIX-like系统上的进程监控工具。 Supervisor是一个Python开发的client/server系统,可以管理和监控*nix上面的进程。不过同daemontools一样,它也 阅读全文

posted @ 2019-04-23 18:20 ExplorerMan 阅读(436) 评论(0) 推荐(0)

MongoDB高可用集群搭建(主从、分片、路由、安全验证)
摘要:目录 一、环境准备 1、部署图 2、模块介绍 3、服务器准备 二、环境变量 1、准备三台集群 2、安装解压 3、配置环境变量 三、集群搭建 1、新建配置目录 2、修改配置文件 3、分发其他节点 4、批量启动 5、创建配置服务器副本集 四、集群测试 1、启动路由服务器客户端 2、插入数据 3、验证主从 阅读全文

posted @ 2019-04-22 16:11 ExplorerMan 阅读(572) 评论(0) 推荐(0)

导航