摘要： UDF函数开发 标准函数（UDF）：以一行数据中的一列或者多列数据作为参数然后返回解雇欧式一个值的函数，同样也可以返回一个复杂的对象，例如array，map，struct。 聚合函数(UDAF)：接受从零行到多行的零个到多个列，然后返回单一值。例如sum函数。 生成函数（UDTF）:接受零个或者多个 阅读全文

摘要： 复合数据类型 Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域a Maps（K-V对）：访问指定域可以通过["指定域名称"]进行，例如，一个Map M包含了一个group-》gid的kv 阅读全文

摘要： mapreduce编程准备 学习mapreduce编程之前需要做一些概念性的了解，这是做的一些课程学习笔记，以便以后时不时的翻出来学习下，之前看过一篇文章大神们都是时不时的翻出基础知识复习下，我也做点笔记吧。 1.mapreduce定义 源于Google的MapReduce论文(如果想更深入的学习， 阅读全文

摘要： mapreduce指定参数 mapreduce在运行的时候可以指定各种参数，这样可以根据实际的应用场景做一下相关的调整 1.指定运行时cpu的个数 -D mapreduce.map.cpu.vcores=2 ：指定这个mapreduce任务运行时cpu的个数 /home/input :指定的输入hd 阅读全文

摘要： strom的命令行解析 1.详细解析-常用 1.jar 提交topology任务命令： 2.kill 杀死topology任务 3.nimbus 启动nimbus守护进程 4.supervisor 启动supervisor守护进程 5.ui 启动ui守护进程 6.drpc 启动drpc守护进程 7. 阅读全文

摘要： flume采集中HDFS参数解析 就是个备忘录，方便以后直接查阅，不用再网上找了！！！！ 配置解析 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channel type ：hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs 阅读全文

摘要： 文章出自：http://www.cnblogs.com/chenfei0801/archive/2013/04/05/3001149.html Java的对象序列化是指将那些实现了Serializable接口的对象转换成一个字符序列，并能够在以后将这个字节序列完全恢复为原来的对象。这一过程甚至可通过 阅读全文

摘要： producer解析 主要是解析一下producer的相关配置以及一些使用场景 相关解析 名称 使用解析 bootstrap.servers：连接集群的实例，producer只需要连接若干的实例即可获取全部的元数据信息，就可以获取topic以及partition的分布情况以及相关的leader。 k 阅读全文

摘要： Storm拓扑的并行度（parallelism）介绍 Storm分为3个主要实体，用于在Storm集群中运行拓扑 工作进程：Worker Process，也称为Worker 执行器：Executor，即线程Thread 任务：Task 工作进程、执行器、任务三者之间关系如下图： 1.topology 阅读全文

摘要： flume-拦截器 有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。 flume通过拦截器实现修改和丢弃 阅读全文