2020年4月7日
摘要：
摘要: 从 MongoDB 3.0 版本引入 WiredTiger 存储引擎（以下称为 WT）以来，一直有同学反应在高速写入数据时 WT 引擎会间歇性写挂起，有时候写延迟达到了几十秒，这确实是个严重的问题。引起这类问题的关键在于 WT 的 LRU C ... 数据库 管理 模型 存储 Hadoop 阅读全文
2020年4月7日
2020年4月3日
摘要：
1、十进制字符串转整数 int('12') ==12 2、字符转整数 ord('a')==97 3、十六进制字符转整数 int('a',16) == 10 MAC地址转整数 例：a='FF:FF:FF:FF:FF:FF'.split(:) int(a[0],16) = 255 int(a[1],16 阅读全文
2020年4月2日
摘要：
使用唯一索引+insert_many+ordered=false insert_many方法本质上也是bulk操作，但它较update少了搜索的部分，因此理论上更快。同时也是因为没有进行搜索就插入，它没有办法判断插入的数据是否存在，这点就需要通过item_id上的唯一索引来确保。同时默认情况下ins 阅读全文
2020年3月31日
摘要：
MongoDB 3.6 Authentication IP Restrictions 前言 好了，看了这个标题，我不知道你有没有一种潜意识，如果有，没错，那就是这个了，MongoDB 终于开放了我觉得对于一个数据库的安全来说，比较重要的一个模块了 IP 白名单。 众所周知，MySQL、Oracle、 阅读全文
2020年3月27日
摘要：
MongoDB中WiredTiger的数据可用性设置 此文已由作者温正湖授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 MongoDB中WiredTiger的参数配置主要通过 wiredtiger_open （http://source.wiredtiger.com/2.9 阅读全文
摘要：
mongod.conf $ vi /etc/mongod.conf 手册 https://docs.mongodb.com/manual/reference/configuration-options https://docs.mongodb.com/manual/reference/paramet 阅读全文
2020年3月26日
摘要：
在系统上安装mongodb之后报错。 (安装教程地址: https://docs.mongodb.com/master/tutorial/install-mongodb-on-red-hat/) 错误信息: WARNING: /sys/kernel/mm/transparent_hugepage/e 阅读全文
摘要：
生产平台特定注意事项 https://docs.mongodb.com/manual/administration/production-notes/#prod-notes-ram 1、推荐平台 虽然MongoDB支持多种平台，但建议生产使用以下操作系统：亚马逊Linux 2Debian 9和10R 阅读全文
2020年3月24日
摘要：
官方网站有关于这个问题的说明（Using a Large Number of Collections）。默认情况下，MongoDB 的每个数据库的命名空间保存在一个 16MB 的 .ns 文件中，平均每个命名占用约 628 字节，也即整个数据库的命名空间的上限约为 24000。 每一个集合、索引都将 阅读全文
2020年3月23日
摘要：
前言mtools是什么可以做什么1. 简易集群管理2. 日志统计3. 日志过滤4. 图表呈现如何安装参考文档 前言 接触 mongodb 已经有一段时间了，从一开始的不了解，到现在已慢慢适应这个nosql领域的佼佼者，还是经历了不少波折。 众所周知的是，mongodb不是关系型数据库，不遵循经典的" 阅读全文
摘要：
之前本人在找工作面试时在Redis相关问题上可栽了跟头。在面试前按常规套路准备了一下，比如 Redis 的常用5种数据结构，Redis持久化策略，Redis实现分布式锁，简单发布订阅等等都准备了，当时不知天高地厚以为十拿九稳了，可是万万没想到我终究还是在Redis的被问的第一个问题上翻船了～～ 面试 阅读全文
2020年3月20日
摘要：
-upsert --upsertFields 可以实现mongodb按照指定字段去重，但是导入数据很慢 mongoimport --host 127.0.0.0.1 --port 27017 --username root --password root --collection info --db 阅读全文
2020年3月13日
摘要：
MongoDB以BSON一种序列化的二进制格式存储数据。在每个序列化之前的文档又支持以下列表中的数据类型,每种数据类型都有一个对应的数字和字符串别名。可以用在$type操作符中用于查询文档 数据类型： TypeNumberStringNotes Double 1 "double" 字符串 2 "st 阅读全文
2020年3月12日
摘要：
1字节=8位(1 byte = 8bit) ObjectId 是一个12字节 BSON 类型数据 12byte 12*8=96bit 96位 时间戳"timestamp" 64bit 8byte BSON Date是一个64bit有符号整数，表示自Unix纪元以来的毫秒数（1970年1月1日） 8b 阅读全文
2020年3月11日
摘要：
mongdb非空数组查询 db.idap_zl.insert({array:[]}) db.idap_zl.insert({array:[1,2,3,4,5]}) db.idap_zl.find({array:{$elemMatch:{$ne:null}}}) 一、elemMatch和elemMat 阅读全文
摘要：
1. MongoDB 多引擎体系 -- WiredTiger MongoDB v.3.0之前的版本，默认使用MMAP(MMap引擎)方式对内存中的数据进行写盘存储，遭受了很多诟病。比如并发受限的表锁、不支持压缩、不可控的IO操作等，MMAP甚至不能称作一个完整的存储引擎(笔者的个人观点)，对数据(B 阅读全文
2020年3月10日
摘要：
背景 转载自：https://blog.51cto.com/suifu/2298684 Part1:写在最前 在副本集架构中，当我们面临写多读少，且大多数写为update操作时，WT引擎的瓶颈初显。这直接导致业务反馈写入操作耗时较久等异常。为此，Percona版本的MongoDB里支持rocksDB 阅读全文
2020年3月2日
摘要：
默认是64MB，取值范围是1 MB 到 1024 MB. 那修改会造成什么？下表简单总结： 在数据量很大的情况下，考虑网络带宽，如果发现带宽占满，可以考虑调小chunk size，这样migration造成的传输量会降低 在服务器硬件很好的情况下，比如我的服务器cpu 24 core, memory 阅读全文
摘要：
chunk： mongodb的分片不是从单篇文档的级别平均的散落在每个片上, 而是N条文档,形成一个块"chunk",优先放在某个片中,chunk的概念有些类似于数据库中的分区的概念。当chunk的大小达到了chunk size的指定大小后（默认是64M，可在config数据库中修改），或chunk 阅读全文
摘要：
最近云上用户用户遇到一个 sharding 集群性能问题的疑惑，比较有代表性，简单分享一下 测试配置 mongos x 2、shard x 3 测试1：集合不开启分片，批量 insert 导入数据，每个 batch 100 个文档 测试2：集合开启分片，随机生成 shardKey，chunk 已提前 阅读全文
摘要：
为什么需要 compact 一图胜千言 remove 与 drop 的区别 MongoDB 里删除一个集合里所有文档，有两种方式 db.collection.remove({}, {multi: true})，逐个文档从 btree 里删除，最后所有文档被删除，但文件物理空间不会被回收 db.col 阅读全文
摘要：
背景： 通过上一篇的 MongoDB 分片的原理、搭建、应用 大致了解了MongoDB分片的安装和一些基本的使用情况，现在来说明下如何管理和优化MongoDB分片的使用。 知识点： 1) 分片的配置和查看 ① 添加分片：sh.addShard("IP:Port") mongos> sh.addSha 阅读全文
摘要：
1. 首先创建好相应的procedure。此处略过。假设procedure的名字是 P1,P1跑的时候需要传递参数。参数为当前日期的前一天。2.oracle 10g开始推出的 schedule更强大，更精确。以往的job还可继续使用。先来看个例子： begin dbms_scheduler.crea 阅读全文
2020年2月28日
摘要：
1.帮助指令：sh.help()，查看有哪些指令及其含义和使用方法。 mongos> sh.help() sh.addShard( host ) server:port OR setname/server:port sh.enableSharding(dbname) enables sharding 阅读全文
摘要：
sh._adminCommand 在admin数据库运行database command ,就像db.runCommand() ,不过可以保证只在 mongos 上运行. sh._checkFullName() 检测一个ns是否正确形成. sh._checkMongos() 检测 mongo 终端连 阅读全文
2020年2月27日
摘要：
本文是“我和MongoDB的故事”征文比赛的二等奖得主李鹏冲的文章。下面我们一起来欣赏下。 问题 近期线上一个三分片集群从 3.2 版本升级到 4.0 版本以后，集群节点的 CPU 的负载升高了很多（10% -> 40%）, 除了版本的升级，项目逻辑和操作量均无变化。关闭 Balancer 以后 C 阅读全文
摘要：
手工重编译 查看失效对象 COLUMN object_name FORMAT A30 SELECT owner, object_type, object_name, status FROM dba_objects WHERE status = 'INVALID' ORDER BY owner, ob 阅读全文
摘要：
CREATE PROCEDURE TEST(LEN IN NUMBER) AS TMPCOUNT NUMBER(8); BEGIN TMPCOUNT := 0; FOR CUR IN 1 .. LEN LOOP BEGIN TMPCOUNT := 1/0; EXCEPTION WHEN OTHERS 阅读全文
2020年2月20日
摘要：
我们经常需要把部分在线系统表的数据进行部分备份，例如门诊医生站和门诊收费的中间表outp_orders_costs创建备份表并 把数据备份过来： 时间A 的时候 create table OUTP_ORDERS_COSTS_BAK as select * from OUTP_ORDERS_COSTS 阅读全文
摘要：
报错如下：mongodb shard could not find host matching read preference {mode \"primary\" for set shard1 检查副本集shard1 主库正常，从库show dbs报错 报错误如下：not master and sl 阅读全文
2020年2月17日
摘要：
原文链接 一、存储引擎（Storage） mongodb 3.0默认存储引擎为MMAPV1，还有一个新引擎wiredTiger可选，或许可以提高一定的性能。 mongodb中有多个databases，每个database可以创建多个collections，collection是底层数据分区（part 阅读全文
2020年2月15日
摘要：
一、数据增长情况 每月增长量最大达到了1.9亿，每天增长约300W-500W （增长数据具体可看页尾）二、遇到的情况及解决方法 1.数据量过大，并且都集中在一个表，所以此表数据插入变慢。 表索引越多越明显， 优化处理方法： 1.优化索引，以前的startTime日期字段索引， 修改为客户端用日期生成 阅读全文
摘要：
转载自：https://www.cnblogs.com/lijianming180/p/12256221.html MongoDB的WiredTiger存储引擎，用了一段时间，遇到了一些问题，通过优化WT参数，也解决了一些问题，做个小结。 cache_size 指定WT存储引擎内部cache的内存用 阅读全文
摘要：
转载自：http://www.mongoing.com/archives/3675 MongoDB 3.2.9 版本在 wiredtiger 上做了很多改进，但不幸的时，这个版本引入了一个新的 bug，持续大量 insert/update 场景，有一定的可能导致 wiredtiger 进入 dead 阅读全文
2020年2月14日
摘要：
一、复制集状态查看复制集状态查询命令 ①.复制集状态查询：rs.status() ②.查看oplog状态： rs.printReplicationInfo() ③.查看复制延迟： rs.printSlaveReplicationInfo() ④.查看服务状态详情: db.serverStatus() 阅读全文
摘要：
MongoDB 高可用可用分两种 ：Master-Slave 主从复制 ：只需要在某一个服务启动时加上–master 参数, 而另一个服务加上–slave 与–source 参数, 即可实现同步。MongoDB的最新版本已不再推荐此方案。Replica Sets 复制集 ：MongoDB 在 1.6 阅读全文
摘要：
一、WiredTriger 1、修改（buffer）cacheSizeGB 1）查看当前大小 2）动太修改，下次启动失效 db.adminCommand({setParameter: 1, wiredTigerEngineRuntimeConfig: "cache_size=80G"}) 3）配置文 阅读全文
摘要：
Python实现的txt文件去重功能示例 更新时间：2018年07月07日 09:00:36 作者：人饭子 我要评论 这篇文章主要介绍了Python实现的txt文件去重功能,涉及Python针对txt文本文件的读写、字符串遍历、判断相关操作技巧,需要的朋友可以参考下 本文实例讲述了Python实现的 阅读全文