2020年2月12日
摘要：
getParameter 阅读全文
摘要：
mongos> db.adminCommand( { getParameter : "*" } ) { "authOnPrimaryOnly" : true, "enableLocalhostAuthBypass" : true, "enableTestCommands" : 0, "ignoreI 阅读全文
2020年2月12日
2020年1月21日
摘要：
其中： 1.python是2.X版本 2.提供两种实现思路，一是基于matplotlib的animation，一是基于matplotlib的ion 全篇目录为： 一、一点构思二、matplotlib animation实现思路 （一）、骨架与实时更新 （二）、animation的优缺点三、matpl 阅读全文
摘要：
一、playbook playbooks是一个不同于使用Ansible命令行执行方式的模式，其功能更强大灵活。简单来说，playbook是一个非常简单的配置管理和多主机部署系统，不同于任何已经存在的模式，可作为一个适合部署复杂应用程序的基础。Playbook可以定制配置，可以按照指定的操作步骤有序执 阅读全文
摘要：
ansible模块较多，对应可以查看相关文档，此处列出一下日常工作中常用的模块 【copy】模块 ansible agent -m copy -a "src=/root/test.sh dest=/tmp" 【file】 调用-s 参数，需要客户端能够无密码使用sudo命令； ansible age 阅读全文
摘要：
一、修改ansible配置文件 1、配置ansible配置文件 inventory = /etc/ansible/hosts #定义资源清单inventory文件的位置，一般保持默认library = /usr/share/my_modules/ #library指向ansible模块的目录，一般保 阅读全文
摘要：
第一步 新建一个site-packages文件夹，把python项目有需要的依赖包名称导出到site-packages下的requirements.txt中 $ pip3 freeze > requirements.txt 第二步 下载python项目需要的所有的依赖包pip3 download - 阅读全文
摘要：
一、下载ansible源码 https://releases.ansible.com/ansible/ 二、使用python安装ansible 1、安装ansible的python依赖包 pip3 install paramiko PyYAML jinja2 2、安装ansible mkdir /u 阅读全文
2020年1月20日
摘要：
一、配置prometheus 1、修改配置文件 [root@mongodb05 cfg]# cat prometheus.yml# my global configglobal: scrape_interval: 15s # Set the scrape interval to every 15 s 阅读全文
摘要：
一、prometheus下载与安装 1、下载 https://prometheus.io/download/ 2、安装 上传prometheus-2.15.2.linux-amd64.tar.gz tar -xvf prometheus-2.15.2.linux-amd64.tar.gz mkdir 阅读全文
2020年1月17日
摘要：
1、查找表中多余的重复记录，重复记录是根据单个字段（Id）来判断 select * from 表 where Id in (select Id from 表 group byId having count(Id) > 1) 2、删除表中多余的重复记录，重复记录是根据单个字段（Id）来判断，只留有ro 阅读全文
摘要：
sql 查出一张表中重复的所有记录数据 1.表中有id和name 两个字段，查询出name重复的所有数据 ? 1 select * from xi a where (a.username) in (select username from xi group by username having co 阅读全文
摘要：
例如有以下集合users： { "_id" : 1, "openid" : "ojQrH5X-V1asIS7uAk2iL-m6azro" },{ "_id" : 2, "openid" : "ojQrH5dwrqiv3O4zgZLWp43dBAa4" },{ "_id" : 3, "openid" 阅读全文
摘要：
python报错：pymongo.errors.CursorNotFound: Cursor not found 背景： 从数据库中取得所有数据 db['test'].find（{}，{_id:0}），然后对结果进行for循环 demos = db['demo'].find({},{"_id": 0 阅读全文
2020年1月16日
摘要：
1. 背景 线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美 阅读全文
摘要：
mongodb内核、wiredtiger存储引擎、rocksdb存储引擎相关源码分析详见(后续持续更新): https://github.com/y123456yz/reading-and-annotate-mongodb-3.6.1 前言 温馨提示：在进行本下篇优化文章阅读前，可以提前了解下《百万 阅读全文
摘要：
我们可以通过视图v$session_wait来查看系统当前的等待事件，以及与等待事件相对应的资源的相关信息 看书笔记db file scattered read DB ,db file sequential read DB,free buffer waits,log buffer space,log 阅读全文
2020年1月14日
摘要：
在aggregate中，常常会遇到一些字段属性是数组对象，然后又需要对这些数组对象进行统计。这时候就需要用到$unwind操作符。这是一个常用的，又容易被忽略的一个操作。 定义 field 版 { $unwind: <field path> } document版 { $unwind: { path 阅读全文
2020年1月10日
摘要：
Python中判断list是否为空有以下两种方式： 方式一： 1 list_temp = [] 2 if len(list_temp): 3 # 存在值即为真 4 else: 5 # list_temp是空的 方式二： 1 list_temp = [] 2 if list_temp: 3 # 存在值 阅读全文
摘要：
1、列表与字符串转换 列表转字符串： 将列表中的内容拼接成一个字符串 将列表中的值转成字符串 字符串转列表： 用eval转换 将字符串每个字符转成列表中的值 将字符串按分割成列表 2、列表与字典转换 列表转字典： 将两个列表转成字典 将嵌套列表转为字典 字典转列表： 字典中键、值转为列表 3、字典与 阅读全文
2020年1月8日
摘要：
什么是PostgreSql：https://www.postgresql.org/about/ 有关PostgreSql序列使用：https://www.cnblogs.com/alianbog/p/5654604.html 按照以往Oracle建表的流程，我们来新建表，并且向表中导入数据。 1.创 阅读全文
摘要：
wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate python get-pip.py python -V 阅读全文
摘要：
Python 使用 from pymongo import MongoClient 连接mongodb，由于没有关闭连接，导致 netstat -alnt|wc -l达到几万个 socket.error: [Errno 99] Cannot assign requested address 网上你去 阅读全文
摘要：
好久没更新mongo运维这块知识了，这次介绍 db.currentOp与db.killOp命令 数据库优化方法有很多，但所有数据库优化都离不开慢查询优化。mysql、mongodb都可以开启慢查询，来对数据库查询进行分析。开启慢查询日志，对性能会有一定的影响。mongoDB 有时我们只想临时看下慢查 阅读全文
2020年1月6日
摘要：
字段筛选语法 db.users.find({},{projection}) 例子： db.users.find({user:"tom",time:{$gte:"20191111000000",$lte:"20191112000000"}},{name:1,_id:0}) 只显示name，不显示_id 阅读全文
摘要：
前言 作为MongoDB的一名方案架构师，我的大部分时间都是在和MongoDB的客户和用户交互。在这里，我希望通过一个不断更新的活文章的方式来为大家收集整理一下MongoDB开发及维护时候值得了解或者遵从的一些最佳实践。我非常真切地希望您也可以参与进来，共同维护这个文档，让更多的用户受惠(可以通过文 阅读全文
摘要：
一、索引创建方式 前台方式 缺省情况下，当为一个集合创建索引时，这个操作将阻塞其他的所有操作。即该集合上的无法正常读写，直到索引创建完毕任意基于所有数据库申请读或写锁都将等待直到前台完成索引创建操作 后台方式将索引创建置于到后台，适用于那些需要长时间创建索引的情形这样子在创建索引期间，MongoDB 阅读全文
2020年1月2日
摘要：
利用字典统计利用pandas统计利用Counter类统计1：方法一data = [1,2,3,4,2,3,4,2,3,4,5,6,6,4,4,5,6,7,4]data_dict = {}for key in data: data_dict[key] = data_dict.get(key,0) + 阅读全文
摘要：
1、直观方法 li=[1,2,3,4,5,1,2,3]new_li=[]for i in li: if i not in new_li: new_li.append(i)print(new_li)123456 总结：这样可以做出来，但是效率不行。但是此方法保证了列表的顺序性。 2、利用set的自动去 阅读全文
摘要：
转载链接：https://www.cnblogs.com/sunshine-blog/p/8477893.html 《本文来自公众号“大邓带你玩python”，转载》 用百分之20时间，学会解决百分之80的问题。 常用的库有time、datetime。其中datetime库是对time库的封装，所以 阅读全文
2019年12月31日
摘要：
一、Percona Xtrabackup概述 Percona XtraBackup是世界上唯一一款开源的免费MySQL热备份软件，可以为InnoDB和XtraDB数据库执行非阻塞备份。 使用Percona XtraBackup，您可以获得以下好处： 快速可靠地完成备份 备份期间不间断的事务处理 节省 阅读全文
2019年12月30日
摘要：
1、分片 分片的含义是指将数据拆分，将其分散存放在不同的机器上的过程，MongoDB的分片机制允许你创建一个包含许多台机器的集群，将数据子集分散在集群中，每一个分片维护着一个数据集合的子集。与单机服务器和副本集相比，使用分片集群架构可以使应用程序具有更大的数据处理能力。 备注：每一个分片都是由一个副 阅读全文
摘要：
mongodb占用内存太大解决办法 在使用MongoDB的时候遇到了一个内存占用的问题，爬虫爬过来的图片在库中存的是网络地址，要写一个脚本对图片进行分批下载，所以会对MongoDB频繁查询。发现使用过程中mongod的服务占用了40.5%的内存查看相关资料得知3.4版本后，内存默认使用的是(系统内存 阅读全文
摘要：
MySQL的主从复制是一个异步的复制过程（虽然一般情况下感觉是实时的），数据将从一个MySQL数据库复制到另一个MySQL数据库，在master与Slave之间实现整个主从复制的过程是有三个线程参与完成的。其中两个线程（SQL线程和IO线程）在slave端，另一个线程（I/O线程）在master端。 阅读全文
摘要：
可将show engine innodb status写入error log中 开启参数： innodb_status_output InnoDB是MySQL使用最多的存储引擎，通常InnoDB状态可以通过show engine innodb status\G查看。 由于MySQL不同版本采用I 阅读全文
摘要：
转载：https://cloud.tencent.com/developer/article/1507132 Show engine innodb status 这个命令估计搞MYSQL的听见这个，第一个反应就是烂大街了。这个命令不会你就快回家吧？ OK 那show engine innodb st 阅读全文
2019年12月26日
摘要：
原文地址：http://windkeepblow.blog.163.com/blog/static/1914883312013988185783/ 如题，其实我的问题很简单，就是在写爬虫的时候拿到网页的信息包含类似“\u65b0\u6d6a\u5fae\u535a\u6ce8\u518c”的字符串， 阅读全文
摘要：
1、进程池介绍 开多进程的目的是为了并发，如果有多核，通常有几个核就开几个进程，进程开启过多，效率反而会下降（开启进程是需要占用系统资源的，而且开启多余核数目的进程也无法做到并行），但很明显需要并发执行的任务要远大于核数，这时我们就可以通过维护一个进程池来控制进程数目，比如httpd的进程模式，规定 阅读全文
摘要：
SyntaxError: Non-ASCII character '\xe4' in file test1.py on line 8, but no encoding declared; python脚本内容 1、原因 Python默认是以ASCII作为编码方式的，需要在文件开头设置一下编码 2、解 阅读全文
2019年12月24日
摘要：
$indexStats 返回数据集合的每个索引的使用情况。 语法: { $indexStats: { } } db.trs_holographic_info.aggregate( [ { $indexStats: { } } ] ) 阅读全文