随笔分类 - MongDB运维
摘要:问题:集群内部通信压力较大。出现在某一个节点创建普通表并插入数据,在其他点读的问题。会造成每次读表都要进行一次完整的数据传输。 前提: Mongodb处于Sharding Cluster状态。 造成原因:系统架构和运维不能要求其他同事对Mongodb的底层设计深入理解,不能要求其他同事了解什么是普通
阅读全文
摘要:问题 前一阵有一个数据导出需求,按照各种数据库的使用方法,使用MongoExport方法导出数据,将数据导出到本地文件系统,在导出之后遇到此问题。 此问题和mongoexport的原理有关,我们知道数据是hashed或者ranged存放在不同shardsvr上的,那么既然export需要导出到某一个
阅读全文
摘要:问题发现 在使用过程中,通过spark访问集群的效率不是很令人满意,80核心同时运行的速度比单核心也就快了20倍左右,预测瓶颈在mongodb读写上。当然,此时没遇到其他问题暂时没进行问题梳理。 在数据规模增大之后,通过spark访问mongodb集群会造成mongos节点远程连接时输入命令卡顿,怀
阅读全文
摘要:前一阵跑程序时发现一个问题,同事导出了部分数据,但是在merge回原库时竟然和原库的数据对不上,后来找了半天发现是原库数据少了。 找了很多资料发现很多人认为的操作日志和我想的不太一样。。。找了半条才发现这个,在shard server上使用命令可以查看删除操作: 从而定位了到底什么时候删的数据。 这
阅读全文
摘要:mongodb集群的权限管理分为两部分,一部分是最常用的Role-Based Access Control,也就是用户名密码方式,这种验证方式一般出现在单机系统,或者集群中client端连接Mongos端;另一种是Internal Authentication.有英文基础想获取security完整信
阅读全文
摘要:1.spark mongo 读取 2.error code 6 3.error code -5 Caused by: com.mongodb.MongoCursorNotFoundException: Query failed with error code -5 and error message
阅读全文

浙公网安备 33010602011771号