06 2017 档案

Storm集成Siddhi
摘要：《Siddhi初探》中我们介绍了Siddhi的基本使用方法，并表示我们将把Siddhi集成到Storm中作为流任务处理引擎。本文将用《Storm初探》中的例子讲解如何集成Siddhi。 《Storm初探》中的例子把名字字符串进行分割与输出，我们将增加一个SIddhiBolt进行名字过滤，过滤规则是筛 阅读全文
posted @ 2017-06-26 23:53 coshaho 阅读(1211) 评论(0) 推荐(0)
Siddhi初探
摘要：官方对Siddhi的介绍如下： Siddhi CEP is a lightweight, easy-to-use Open Source Complex Event Processing Engine (CEP) under Apache Software License v2.0. Siddhi是 阅读全文
posted @ 2017-06-19 23:21 coshaho 阅读(6698) 评论(0) 推荐(0)
Java设计模式应用——组合模式
摘要：组合模式实际上是一种树形数据结构。以windows目录系统举例，怎么样用java语言描述一个文件夹？ 定义一个文件夹类，文件夹类中包含若干个子文件类和若干个文件类。 进一步抽象，把文件夹和文件都看做节点，于是一个文件夹就可以描述为一个节点类，包含若干个子节点。 我们看看组合模式的代码 测试类 在实际 阅读全文
posted @ 2017-06-15 22:27 coshaho 阅读(632) 评论(0) 推荐(0)
Ignite缓存大小管理
摘要：Ignite使用计算机内存存储缓存数据，达到提升缓存读写性能的。但是计算机内存往往是有限的，我们必须合理管理Ignite对内存的使用。 Ignite可以使用JVM堆外内存和堆内内存。使用堆外内存基本上会对JVM垃圾回收造成影响，也不会对JVM中的其他进程数据造成影响。但是使用堆内内存性能更高。 一般 阅读全文
posted @ 2017-06-15 14:59 coshaho 阅读(4685) 评论(0) 推荐(0)
Zookeeper使用实例——服务节点管理
摘要：分布式处理中，总会存在多个服务节点同时工作，并且节点数量会随着网络规模的变化而动态增减，服务节点也有可能发生宕机与恢复。面对着动态增减的服务节点，我们如何保证客户请求被服务器正确处理呢。我们可以通过zookeeper临时节点创建与自动删除来掌握服务节点的动态增减。 ignite分布式缓存支持使用zo 阅读全文
posted @ 2017-06-14 21:38 coshaho 阅读(7928) 评论(0) 推荐(0)
Zookeeper使用实例——分布式共享锁
摘要：前一讲中我们知道，Zookeeper通过维护一个分布式目录数据结构，实现分布式协调服务。本文主要介绍利用Zookeeper有序目录的创建和删除，实现分布式共享锁。 举个例子，性能管理系统中，告警规则只允许最多创建450条，我们如何保证这个约束呢？ 如果只有一个web节点，我们只需要简单的把规则数量查 阅读全文
posted @ 2017-06-12 23:16 coshaho 阅读(10529) 评论(5) 推荐(3)
Zookeeper初探
摘要：分布式编程中，网络中各个节点的数据同步，数据一致性保障，事务控制，容错控保障等都需要一个稳定可靠的协调服务。Zookeeper则是分布式程序中使用最广泛的协调服务技术。从前面的kafka，storm，ignite使用文章中我们可以看到，Zookeeper广泛用于这些方分布式大数据技术的节点选举以及数 阅读全文
posted @ 2017-06-10 23:50 coshaho 阅读(669) 评论(0) 推荐(0)
Java设计模式应用——备忘录模式
摘要：备忘录模式主要用于存档。游戏中我们打boss前总会存档，如果打boss失败，则读取存档，重新挑战boss。 可以看出来，备忘录模式一般包括如下数据结构 1、 存档文件：用于恢复备份场景的必要数据； 2、 存档管理器：用于管理存档，包括存档的读写与展示； 3、 被存档的对象。 下面以射击游戏的存档来举 阅读全文
posted @ 2017-06-09 22:31 coshaho 阅读(394) 评论(0) 推荐(0)
Java设计模式应用——工厂模式
摘要：工厂模式有三种：简单工厂、工厂方法、抽象工厂 一、 抽象工厂 1、 一个可以生产多种产品的工厂； 2、 不改变工厂无法生产新的产品。 二、 工厂方法 1、 每个工厂只能生产一种产品； 2、 想要生产新产品只需要新建一个工厂即可； 3、 产品过多，可能导致工厂过多。 三、 抽象工厂 1、 抽象工厂可以 阅读全文
posted @ 2017-06-09 21:39 coshaho 阅读(583) 评论(0) 推荐(0)
Java设计模式应用——适配器模式
摘要：性能监控系统中，存在告警模块和报表模块，告警结果和报表结果都需要导出。 由于告警开发进度较快，已经实现了excel导出、csv导出、zip导出功能，现在报表需要excel导出、csv导出、pdf导出功能，该如何做呢？ 显然，报表不会重复开发excel导出，csv导出代码，只需要增加pdf导出代码即可 阅读全文
posted @ 2017-06-08 00:04 coshaho 阅读(977) 评论(0) 推荐(0)
Storm消息可靠处理机制
摘要：在很多应用场景中，分布式系统的可靠性保障尤其重要。比如电商平台中，客户的购买请求需要可靠处理，不能因为节点故障等原因丢失请求；比如告警系统中，产生的核心告警必须及时完整的知会监控人员，不能因为网络故障而丢失数据。 Storm消息可靠性保障是Storm核心特性之一，其中消息树的跟踪管理机制是Storm 阅读全文
posted @ 2017-06-05 23:59 coshaho 阅读(468) 评论(0) 推荐(0)
Storm初探
摘要：Storm是一种分布式流式处理技术，这一点和Spark与Hadoop的批处理特性有明显的区别。 在数据连续产生，响应时延要求较低的场景中，Storm具有Spark不可比拟的优势。 网络性能监控系统中，Storm可以在秒级Dashboard监控，分钟级告警监控中大显生手。 学习任何技术，首先从Hell 阅读全文
posted @ 2017-06-04 23:25 coshaho 阅读(265) 评论(0) 推荐(0)
Ignite集群管理——基于Zookeeper的节点发现
摘要：Ignite支持基于组播，静态IP，Zookeeper，JDBC等方式发现节点，本文主要介绍基于Zookeeper的节点发现。 环境准备，两台笔记本电脑A，B。A笔记本上使用VMware虚拟机安装了Ubuntu系统C。 1、 C安装Zookeeper 由于主要测试Ignite，这里仅仅简单安装一个z 阅读全文
posted @ 2017-06-03 23:12 coshaho 阅读(4054) 评论(1) 推荐(0)
Java设计模式应用——桥接模式
摘要：性能管理系统中，数据产生后需要经过采集，汇聚，入库三个流程，用户才能查询使用。 采集可以是snmp采集，也可以是ems采集；汇聚可以使storm汇聚，也可以是spark汇聚；入库可以是hdfs入库，也可以是mppdb入库。 针对不同场景，我们可以灵活选择不同的采集，汇聚，入库方式。这种一个功能需要多 阅读全文
posted @ 2017-06-01 23:45 coshaho 阅读(727) 评论(0) 推荐(0)