Do My Code

摘要： 为创建一组相关或相互依赖的对象提供一个接口，而且无需指定他们的具体类。 抽象工厂模式与工厂方法模式的区别 抽象工厂模式是工厂方法模式的升级版本，他用来创建一组相关或者相互依赖的对象。他与工厂方法模式的区别就在于，工厂方法模式针对的是一个产品等级结构；而抽象工厂模式则是针对的多个产品等级结构。在编程中 阅读全文

摘要： 定义一个用于创建对象的接口，让子类决定实例化哪一个类，工厂方法使一个类的实例化延迟到其子类。 优点： 1、可以使代码结构清晰，有效地封装变化。在编程中，产品类的实例化有时候是比较复杂和多变的，通过工厂模式，将产品的实例化封装起来，使得调用者根本无需关心产品的实例化过程，只需依赖工厂即可得到自己想要的 阅读全文

摘要： 简单工厂模式是属于创建型模式，又叫做静态工厂方法（Static Factory Method）模式，但不属于23种GOF设计模式之一。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。描述 优点： 1、工厂 阅读全文

摘要： 姗姗来迟的学习，边学习边总结吧。设计模式的重要性就不多说了，为什么要用设计模式需要说吗？也不需要吧，有兴趣的可以看看：http://zhuanlan.zhihu.com/p/19835717 1、创建型模式 对象的创建会消耗掉系统很多资源，所以单独对对象的创建进行研究，从而能够高效的创建对象就是创建 阅读全文

摘要： 收集、聚合时间流数据分布式框架。通常用户log数据 采用ad-hoc方案，明显有点如下： 可靠的、可伸缩、可管理、可定制、高性能 声名式配置，可以动态配置 提供上下文路由功能 支持负载均衡和故障转移 功能丰富 完全可扩展 核心概念 event、client、agent、sources/channel 阅读全文

摘要： 处理小文件的时候，可以通过org.apache.hadoop.io.SequenceFile.Writer类将所有文件写出到一个seq文件中。 大致流程如下： 实现代码： 注意事项： 我原本的逻辑是放到map函数中，将所有文件通过Writer写到HDFS中，但是map在整个mr的执行中被调用的次数是 阅读全文

摘要： 在真实环境中，处理日志的时候，会有很多小的碎文件，但是文件总量又是很大。普通的应用程序用来处理已经很麻烦了，或者说处理不了，这个时候需要对小文件进行一些特殊的处理——合并。 在这通过编写java应用程序实现文件的合并并上传到HDFS。整体的处理思路是，从本地加载琐碎的小文件并写到HDFS中。 这个方 阅读全文

摘要： kafka是一个高吞吐量的消息系统。隔离消息接收和处理过程（可理解为一个缓存） *发布和订阅通过zk实现，kafka设计就使用了zk     broker.id 唯一，数字 host.name 唯一，填服务器 zookeeper.connect=hadoop110:2181,hadoop111:21 阅读全文

摘要： storm的环境和hadoop的环境没有任何关系               启动UI后台程序，并放到后台执行，启动后可以通过端口8080观察集群的worker资源使用情况、topology的运行状态等信息   YAML文件约定： （1）使用两个空格作为一级缩进是YAML的约定，不能使用制表符来代替 阅读全文

摘要： pig是hadoop客户端，使用类似于SQL的面向数据流的语言pig latin,这个语言可以完成排序，过滤，求和，关联等操作，可以支持自定义函数。Pig自动把pig latin 映射为Map-Reduce作业上传到集群运行，减少用户编写java程序的苦恼。 Pig是专门用于处理来自于HDFS的数据 阅读全文