摘要：
在用python编写脚本或写程序过程中总要遇到一些对大文件或数据进行排序,计算,循环跌代等.我想下面这些函数库一定能用得到,总结如下:便于以后备查列表去重(传说是列表去重最高效的方法):al = ['/data/consul/script/check_port.py', '/data/consul/... 阅读全文
posted @ 2015-06-24 23:18
shantuwqk
阅读(637)
评论(0)
推荐(1)
摘要：
为了对每个月的切割过的３０个日志文件统计出访问最多的ip地址进行排序，整理了下面的脚本，主要思路是处理每一个日志文件的ip排序，最后进行字典合并，计算出月ip排序。#!/usr/bin/env pythonimport osimport sysimport commandsimport reipso... 阅读全文
posted @ 2015-06-24 23:16
shantuwqk
阅读(444)
评论(0)
推荐(0)
摘要：
在运维工作中，经常要处理大量数据，或者要跑一些时间比较长的任务，可能都需要用到多进程，不管是管理端下发任务，还是客户端执行任务，如果服务器配置还可以，跑多进程还是挺能解决问题的Multiprocessing Pool如果任务需要启动大量子进程，用一下multiprocessing Pool 是比较好... 阅读全文
posted @ 2015-06-24 23:14
shantuwqk
阅读(357)
评论(0)
推荐(0)
摘要：
logstash每天往es建好索引，按天生成，就目前的需求，需要清理不需要的数据，以保证最新日志的速度展示，哈哈，瞎搞了这个脚本，路过的大神批评。#!/usr/bin/env python# coding:utf8#author: shantuwqk@163.comimport sys,dateti... 阅读全文
posted @ 2015-06-24 23:13
shantuwqk
阅读(386)
评论(0)
推荐(0)
摘要：
说明：我的系统环境是ubuntu 14.10版本的，整理这篇博客，主要是自己记性太不好了，老忘东西，教训一下自己。哈哈参考文章createing blog1,part-1-creating-blog2,part-2-creating-blog3,part-3-creating-blogdjango ... 阅读全文
posted @ 2015-06-24 23:10
shantuwqk
阅读(291)
评论(0)
推荐(0)
摘要：
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署：说明：公司想做网站业务日志及系统日志统一收集和... 阅读全文
posted @ 2015-06-24 23:07
shantuwqk
阅读(893)
评论(0)
推荐(0)
摘要：
书写格式，和相关说明如下:格式：\033[显示方式;前景色;背景色m 说明：前景色 背景色 颜色---------------------------------------30 40 黑色31 ... 阅读全文
posted @ 2015-06-24 23:03
shantuwqk
阅读(469)
评论(0)
推荐(0)
摘要：
在linux系统维护过程中，经常需要解决各种各样的需求，最简单的方式还是用linux系统本身的shell，最简单有效这个网站很好推荐给大家点这里１.释放内存:cat monitor_mem.sh#!/bin/bashused=`free -m | awk 'NR==2' | awk '{print ... 阅读全文
posted @ 2015-06-24 23:00
shantuwqk
阅读(611)
评论(0)
推荐(0)
摘要：
在自动化运维平台没有做完之前,常需要登录服务器做很多维护操作,每次找好长好长的密码,那么多服务器,你会疯掉的,所以瞎搞了以下脚本.先解一下燃眉之急,哈哈cat login_root.exp#!/usr/bin/expect -cset IP [lindex $argv 0]set PWD [lind... 阅读全文
posted @ 2015-06-24 22:56
shantuwqk
阅读(542)
评论(0)
推荐(0)
摘要：
在程序中使用配置文件来灵活的配置一些参数是一件很常见的事情，配置文件的解析并不复杂，在Python里更是如此，在官方发布的库中就包含有做这件事情的库，那就是ConfigParser， Python ConfigParser模块解析的配置文件的格式比较象ini的配置文件格式下面用实例说明如下:配置文件... 阅读全文
posted @ 2015-06-24 22:53
shantuwqk
阅读(177)
评论(0)
推荐(0)
浙公网安备 33010602011771号