摘要：错误如上，解决方式如下，根据connector源码（并没有完全看懂），分析出现这个问题的原因是因为： numDocumentsPerPartition < count，导致执行了else代码出现的，else先进行sample，然后： val numDocumentsPerPartition: Int 阅读全文

摘要：最近做数据备份的时候发现了有个很严重的问题，那就是数据丢失（最后证明没丢，是别的问题造成的）。 问题如下： 我通过两种方式在两个mongoDB集群中，对一组collection进行备份，最后2个备份数据的数据个数不相同，并且都小于原始collection的count结果。于是便开始寻求解决办法，流程 阅读全文

摘要：此文只是为了记录几个基本操作，首先Upsert，有多种方法可以进行，但是都需要指定UpdateOptions.upsert(true)，其中最简单的办法如下（eqq是一个用来filter的BSON，具体用法请查看之前文章）： 其次是InsertMany，在InsertMany中，如果出现dup-ke 阅读全文

摘要：１.$sample stage could not find a non-duplicate document while using a random cursor 这个问题比较难解决，因为我用mongodb spark connector没用到sample，但是在生成RDD的过程中会进行samp 阅读全文

摘要：首先，我们明确的是访问Mongos和访问单机Mongod并没有什么区别。接下来的方法都是既可以访问mongod又可以访问Mongos的。 另外，读作java写作scala，反正大家都看得懂......大概？ 1、不带认证集群的连接方法（JAVAscala）： 首先是创建连接的方法，我们先声明一个cl 阅读全文

摘要：第一部分 在搭建mongoDB之前，我们要考虑几个小问题： 1、我们搭建集群的目的是什么？是多备份提高容错和系统可用性还是横向拓展存储大规模数据还是两者兼有？ 如果是为了多备份那么选择replication集群搭建即可，如果是为了处理大数据则需要搭建sharding集群，如果两者兼有需要对每个sha 阅读全文