摘要: 废话不多说,直接上代码。 阅读全文
posted @ 2016-11-13 21:16 coshaho 阅读(2144) 评论(0) 推荐(0) 编辑
摘要: Storm也依赖于Zookeeper和Java,上一篇文章中已经讲了Zookeepeer和Java的安装,在此不再赘述。 1、Python安装 (1)解压后在Python根目录下执行configure配置 (2)编译 (3)安装 (4)检查安装结果 2、安装Storm (1)解压 (2)配置stor 阅读全文
posted @ 2016-10-16 14:00 coshaho 阅读(293) 评论(0) 推荐(0) 编辑
摘要: Kafka基于Zookeeper管理分布式节点,Zookeeper是基于Java开发,所以,安装Kafka就必须安装JDK和Zookeeper。 一、安装JDK 1、新建一个存放jdk的目录,并解压jdk到该目录下; 如下图所示,jdk存放目录为/home/coshaho/jdk,版本为jdk1.7 阅读全文
posted @ 2016-09-25 17:29 coshaho 阅读(560) 评论(0) 推荐(0) 编辑
摘要: 背景 前面我们介绍过利用javassist动态生成webservice,这种方式可以使得我们系统通过页面配置动态发布webservice服务,做到0代码开发发布北向接口。进一步思考,我们如何0代码开发调用第三方webservice服务呢? wsdl解析 首先必然是理解第三方webservice的接口 阅读全文
posted @ 2016-07-20 21:12 coshaho 阅读(11901) 评论(7) 推荐(3) 编辑
摘要: 背景 告警子系统监控4万个大网元所有端口的某些指标数据,根据阈值配置判断是否产生告警。采集——数据处理子系统每5分钟会主动采集24万次数据,发送24万条消息给告警子系统,这24万条消息涉及100万实体的数十个指标数据。告警子系统采用多节点部署方式分担压力,每个节点处理不同网元类型,不同实体,不同指标 阅读全文
posted @ 2016-07-10 12:09 coshaho 阅读(5005) 评论(1) 推荐(0) 编辑
摘要: 告警系统架构如下 1、 数据处理系统处理完原始数据并入库后,发送消息到kafka系统; 2、 告警生产者从kafka系统查询消息存入告警消息队列; 3、 告警消费者从告警消息队列查询消息进行处理。 这显然是生产者消费者模型,一个告警消息生产者,多个告警消息消费者。生产者生产消息过快会产生消息积压,生 阅读全文
posted @ 2016-04-24 17:21 coshaho 阅读(961) 评论(0) 推荐(0) 编辑
摘要: 告警性能优化过程中,遇到如下问题:1、 在数据库计算几十万个实体的KPI值的方差;2、 计算结果进行表格化处理。 这里KPI包含多个Counter的数据库函数运算(比如Decode,AVG等函数),方差也是数据库函数运算,性能比较差。 步骤1中每个实体独立计算方差,步骤2需要方差结果协同处理,所以很 阅读全文
posted @ 2016-04-24 16:12 coshaho 阅读(641) 评论(0) 推荐(0) 编辑
摘要: 最近项目中进行告警模块性能优化,不少地方使用了线程池技术,整理总结如下。 阅读全文
posted @ 2016-04-24 13:44 coshaho 阅读(893) 评论(0) 推荐(0) 编辑
摘要: 一、用法ThreadLocal用于保存某个线程共享变量:对于同一个static ThreadLocal,不同线程只能从中get,set,remove自己的变量,而不会影响其他线程的变量。1、ThreadLocal.get: 获取ThreadLocal中当前线程共享变量的值。2、ThreadLocal... 阅读全文
posted @ 2016-01-13 14:06 coshaho 阅读(164793) 评论(7) 推荐(16) 编辑
摘要: Java动态代理只对实现了接口方法的实现类有效,接口和实现类代码如下:package com.coshaho.reflect;public interface Subject { String doSomething();}package com.coshaho.reflect;public ... 阅读全文
posted @ 2016-01-10 11:40 coshaho 阅读(647) 评论(0) 推荐(0) 编辑