摘要： 前言 本文将简单介绍两种基于Flume的日志收集系统可能的架构方案，可根据不同的实际场景参考使用。 方案一 示例图如下： 说明： 每个日志源（http上报、日志文件等）对应一个Agent-c用于收集对应日志, 收集来的日志可以流到Agent-s-1或Agent-s-2； Agent-c的Sink处理 阅读全文

摘要： Flume简介 Apache Flume是一个分布式、可靠、高可用的日志收集系统，支持各种各样的数据来源，如http，log文件，jms，监听端口数据等等，能将这些数据源的海量日志数据进行高效收集、聚合、移动，最后存储到指定存储系统中，如kafka、分布式文件系统、Solr搜索服务器等； Apach 阅读全文

摘要： 前言 最近看了看Apache Flume，在虚拟机里跑了一下flume + kafka + storm + mysql架构的demo，功能很简单，主要是用flume收集数据源（http上报信息），放入到kafka队列里，然后用storm消费kafka里的资源，计算结果并存入到mysql中； 在这期间 阅读全文

摘要： 问题一：提示程序包可能有错，错误代码 29141 换了n个版本（vmware workstation 10，11, 12），下载了n次，都提示该错误（29141），明明程序包没错啊， 一开始还怀疑是我的操作系统是win 10导致的，但是看网上别人都可以； 真是安装到怀疑人生....... 问题一：可 阅读全文

摘要： 前言 Digester规则的定义除了可以在代码中直接new规则添加到 Digester对象外，还可以用xml配置规则，如下所示： 显然，xml的规则配置目前已经不是主流方法了，今后的大趋势肯定是用注解，所以本文将主要关注如何在javabean上使用注解来配置Digester规则； Digester规 阅读全文

摘要： 前言 上一篇对Digester做了基本介绍，也已经了解了Digester的基本使用方法，接下来将继续学习其相关特性，本篇主要涉及以下几个内容： 规则模块预先绑定 - RulesModule接口 在此之前，我们使用Digester的基本流程都是每次在程序运行时绑定规则，然后解析； 事实上，我们可以改变 阅读全文

摘要： 前言 在许多需要处理XML格式数据的应用环境中, 如果能够以“事件驱动”的方式来处理XML文档，比如，当识别出特定的XML元素时，触发“创建对象”操作事件（或者触发调用对象的方法事件），这对于应用程序开发来说，是非常有用的； 熟悉以SAX(Simple API for XML Parsing)方式来 阅读全文

摘要： 前言 前面已经学习了Apache Commons Beanutils包里的PropertyUtils和动态bean，接下来将学习剩下的几个工具类，个人觉得还是非常实用的，特别是CollectionUtils； BeanUtils 简单介绍下两个方法的使用，populate和copyPropertie 阅读全文

摘要： 相关背景 上一篇介绍了PropertyUtils的用法，PropertyUtils主要是在不修改bean结构的前提下，动态访问bean的属性； 但是有时候，我们会经常希望能够在不定义一个Java类的前提下，动态决定这个类中包含哪些属性，并动态访问它们的属性值，比较典型的使用场景是作为SQL查询的结果 阅读全文

摘要： BeanUtils简要描述 beanutils，顾名思义，是java bean的一个工具类，可以帮助我们方便的读取(get)和设置(set)bean属性值、动态定义和访问bean属性； 细心的话，会发现其实JDK已经提供了一个java.beans包，同样可以实现以上功能，只不过使用起来比较麻烦，所以 阅读全文