代码改变世界

python脚本导数据-2-csv

2022-08-08 21:23 by ndzj, 93 阅读, 0 推荐, 收藏,
摘要:需求: 工作日常中会有很多这样的情况,产品人员会提OA要求dba导数据(导出的数据放表格文件中),有时数据量要达到几千万,假如是人工导,要导好多次,时间消耗比较多。所以决定写脚本来导。 #!/usr/bin/pythonimport MySQLdbimport sys,osimport timeim 阅读全文

脚本抓取mongoDB慢查询进程,生成kill语句,快速恢复mongodb CPU打满情况

2020-06-18 17:08 by ndzj, 900 阅读, 0 推荐, 收藏,
摘要:场景 :线上mongodb实例偶尔会被慢查询打满cpu的情况,影响应用正常连接mongoDB. 临时解决方法 : 通过脚本抓取指定条件的查询进程opid,并生成kill语句。方便维护人员快速去杀掉慢查询进程,从而快速恢复mongoDB CPU飙高问题。 脚本及使用方法如下(脚本分副本集和分片集群): 阅读全文

python脚本生成sql分库分表语句

2020-06-18 16:58 by ndzj, 815 阅读, 0 推荐, 收藏,
摘要:使用场景§: 数据库做分库分表架构的,日常维护需要生成分片sql。 脚本如下®: #!/usr/bin/python#! _*_ coding:utf-8 _*_ import re # 支持生成分表语句类型(delete,create,drop,update,alter,truncat,selec 阅读全文

脚本 将阿里云 mongodb数据转成mysql

2019-04-02 17:04 by ndzj, 1570 阅读, 0 推荐, 收藏,
摘要:思路:mongodb是阿里云上,有定时备份,用python脚本去下载备份文件,恢复到我的环境 中,用脚本查出数据转换成sql插入mysql. 我的环境python是2.7.5。注:mysql端要预先建设 好对应的表,表名和mongodb上的表同名。 api:https://help.aliyun.c 阅读全文

脚本获取rds慢日志

2019-03-30 16:54 by ndzj, 824 阅读, 0 推荐, 收藏,
摘要:#!/bin/bash #慢日志开始时间stime='2019-03-05T00:01Z'#慢日志结束时间etime='2019-03-05T16:00Z'#页面大小pagenum=100#rds实例IDrds_id='rr-bp1487z0p4r345hra' function get_slows 阅读全文

问题反馈小平台实现 ----python练习

2018-06-04 18:39 by ndzj, 601 阅读, 0 推荐, 收藏,
摘要:可以 看到程序打印出日志,且文件中也有写入数据。 阅读全文

python脚本 监控MySQL slave 状态

2018-05-18 18:34 by ndzj, 1311 阅读, 0 推荐, 收藏,
摘要:#!/usr/bin/python# !gbkimport osimport sysmysqlbase = '/usr/bin/mysql'host = 'ip'user = 'root'passw = 'xxxxxx'def insert_info(item): # 判断当主从不同步时用函数把状态 阅读全文

传统复制的复制结构之间转换

2018-05-06 14:19 by ndzj, 259 阅读, 0 推荐, 收藏,
摘要:今天来写一个传统复制的复制结构之间的转换问题。 a-->ba-->c转换成a-->b-->ca:create table i_hgr(id int);此时b和c上都有了表 i_hgr先在b和c删除表i_hgr --> b,c:drop table i_hgr;a:drop table i_hgr;此 阅读全文

python判断合法IP并区分内网和外网地址

2018-04-22 00:16 by ndzj, 2784 阅读, 0 推荐, 收藏,
摘要:import redef legit_ip(_ip): compile_ip = re.compile('^((25[0-5]|2[0-4]\d|[01]?\d\d?)\.){3}(25[0-5]|2[0-4]\d|[01]?\d\d?)$') if compile_ip.match(_ip): r 阅读全文

ELK单台日志收集系统的搭建

2018-03-06 16:55 by ndzj, 852 阅读, 0 推荐, 收藏,
摘要:对于运维来说搭建日志收集系统还是很有用的,没有它每次要看日志都要到服务器上用命令行查看,比较繁琐。 安装JDK yum install -y java-1.8.0-openjdk.x86_64下载软件wget https://artifacts.elastic.co/downloads/elasti 阅读全文