摘要: 前言描述 生产初级,Service服务较少,访问量较少,随着业务量的不断增加,日志量成倍增长,然后就遇到了消息队列redis被充爆,不能满足应用的情况。针对此情况,我们来分析下可用的消息多列。 官方推荐消息队列 redis、kafka、rabbitmq。我们现在针对这三种进行比较。 从消息订阅模式比较 Redis redis是基于内存的应用,消息都存放在内存中,写入读取速度快,但是受内... 阅读全文
posted @ 2018-02-05 14:25 曹小贱 阅读(3366) 评论(0) 推荐(0) 编辑
摘要: 对文件进行打包操作 import osimport tarfile#压缩,创建.gz#创建压缩包名tar = tarfile.open('/tmp/tartest.tar.gz','w:gz')# 创建压缩包for root,dir,files in os.walk("/tmp/tartest"): print root print dir print files ... 阅读全文
posted @ 2018-01-27 13:50 曹小贱 阅读(121) 评论(0) 推荐(0) 编辑
摘要: 日志格式 61.159.140.123 - - [23/Aug/2014:00:01:42 +0800] "GET /favicon.ico HTTP/1.1" 404 \ "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36 LBBRO... 阅读全文
posted @ 2018-01-27 13:49 曹小贱 阅读(541) 评论(0) 推荐(0) 编辑
摘要: 机器配置 系统:CentOS6.7 配置:4C8G 应用:Redis Cluster,实例化 现象 1、无法启动redis,启动后系统OOM,直接杀死 2、Redis: OOM command not allowed when used memory > ‘maxmemory’ 原因 内存已满,不允许数据在写入 注: used_memory_human表示已用内存 us... 阅读全文
posted @ 2018-01-27 13:48 曹小贱 阅读(412) 评论(0) 推荐(0) 编辑
摘要: Rsyslog简介 rsyslog是一个开源工具,被广泛用于Linux系统以通过TCP/UDP协议转发或接收日志消息。rsyslog守护进程可以被配置成两种环境,一种是配置成日志收集服务器,rsyslog进程可以从网络中收集其它主机上的日志数据,这些主机会将日志配置为发送到另外的远程服务器。rsyslog的另外一个用法,就是可以配置为客户端,用来过滤和发送内部日志消息到本地文件夹(如/var/l... 阅读全文
posted @ 2018-01-27 13:35 曹小贱 阅读(672) 评论(0) 推荐(0) 编辑
摘要: JIRA是一个项目跟踪管理工具,帮助团队创建计划任务、构建并发布优秀的产品。全球成千上万的团队选择JIRA,用JIRA来捕获、组织管理缺陷、分配任务,跟踪团队的活动。不论在桌面PC还是移动终端设备上,JIRA都能完美的运行,帮助团队完成工作。 1. 环境准备 CentOS 6.5 java jdk 1.8 mysql-server 5.6 jira-6.3.6.tar.gz 破解包下载... 阅读全文
posted @ 2018-01-27 13:35 曹小贱 阅读(1995) 评论(0) 推荐(0) 编辑
摘要: Logstash工作原理 由于Kafka采用解耦的设计思想,并非原始的发布订阅,生产者负责产生消息,直接推送给消费者。而是在中间加入持久化层——broker,生产者把数据存放在broker中,消费者从broker中取数据。这样就带来了几个好处:: 1 生产者的负载与消费者的负载解耦 2 消费者按照自己的能力fetch数据 3 消费者可以自定义消费的数量 由于broker采用了主题topi... 阅读全文
posted @ 2018-01-27 13:32 曹小贱 阅读(526) 评论(0) 推荐(0) 编辑
摘要: Confluence Confluence是一个专业的wiki程序。它是一个知识管理的工具,通过它可以实现团队成员之间的协作和知识共享。 Confluence不是一个开源软件,非商业用途可以免费使用。 Confluence使用简单,但它强大的编辑和站点管理特征能够帮助团队成员之间共享信息,文档协作,集体讨论。 1. 环境准备 CentOS6.5 JAVA 1.8 MySQL-SERV... 阅读全文
posted @ 2016-12-29 14:59 曹小贱 阅读(1531) 评论(0) 推荐(1) 编辑
摘要: 本文介绍zabbix、nagios、cacti对Memcache的监控一:zabbix企业应用之固定端口监控memcache一、在客户端1、到/usr/loca/zabbix/conf/zabbix_agentd.conf里添加UserParameter=memcached_stats[*],(echo stats; sleep 1) | telnet 127.0.0.1 $1 2>&1 | aw... 阅读全文
posted @ 2016-07-28 17:25 曹小贱 阅读(307) 评论(0) 推荐(0) 编辑
摘要: 一、memcached工作原理基本概念:slab,page,chunk。slab,是一个逻辑概念。它是在启动memcached实例的时候预处理好的,每个slab对应一个chunk size,也就是说不同slab有不同的chunk size。具体分配多少个slab由参数 -f (增长因子)和 -n (chunk最小尺寸)决定的。page,可以理解为内存页。大小固定为1m。slab会在存储请求时向系统... 阅读全文
posted @ 2016-07-28 17:24 曹小贱 阅读(1473) 评论(0) 推荐(0) 编辑