2018年6月8日
摘要：
flume=示例 阅读全文
posted @ 2018-06-08 20:18
duanxz
阅读(186)
评论(0)
推荐(0)
摘要：
1. Flume Interceptors Flume有能力修改/删除流程中的events。这是在拦截器（interceptor）的帮助下完成的。拦截器（Interceptors）是实现org.apache.flume.interceptor.Interceptor接口的类。一个intercepto 阅读全文
posted @ 2018-06-08 20:17
duanxz
阅读(866)
评论(0)
推荐(0)
摘要：
1. Flume Channel Channels是events在agent上进行的存储库。Source添加events，Sink移除events。 Channel 是位于Source 和Sink 之间的缓冲区。因此，Channel 允许Source 和Sink 运作在不同的速率上。Channel 阅读全文
posted @ 2018-06-08 20:16
duanxz
阅读(1403)
评论(0)
推荐(0)
摘要：
概述 从Flume Agent移除数据并写入到另一个Agent或数据存储或一些其他存储系统的组件被称为sink。Sink不断的轮询channel中的事件且批量的移除它们。这些事件批量写入到存储或索引系统，或者被发送到另一个Flume Agent。Sink是完全事务性的。在从channel批量移除数据 阅读全文
posted @ 2018-06-08 20:16
duanxz
阅读(1332)
评论(0)
推荐(0)
摘要：
1.1 Avro Source 监听Avro端口，从Avro client streams接收events。要求属性是粗体字。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。 !channels – !type – 类 阅读全文
posted @ 2018-06-08 20:15
duanxz
阅读(969)
评论(0)
推荐(0)
摘要：
flume 1.7在windows下的安装与运行 一、安装 安装java，配置环境变量。 安装flume，flume的官网http://flume.apache.org/，下载地址，下载后直接解压即可。 二、运行 创建配置文件：在解压后的文件apache-flume-1.6.0-bin/conf下创 阅读全文
posted @ 2018-06-08 19:28
duanxz
阅读(655)
评论(0)
推荐(0)
摘要：
1、flume的外部结构： 如上图所示，数据发生器（如：facebook,twitter）产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中。 2. Flume 事件 事件作为Flume内部数据传 阅读全文
posted @ 2018-06-08 18:20
duanxz
阅读(1866)
评论(0)
推荐(0)
摘要：
原始Text格式的hive分区大小为119.2G。 压缩算法 Text格式 Parquet格式 ORC RCFile 不压缩 119.2G 54.1G 20.0G 98G Snappy压缩 30.2 G 23.6 13.6 27.0G Gzip压缩 18.8 G 14.1 G 不支持 15.2G Z 阅读全文
posted @ 2018-06-08 16:31
duanxz
阅读(3846)
评论(0)
推荐(0)
摘要：
SSL（Secure Sockets Layer 安全套接层）是为网络通信提供安全及数据完整性的一种安全协议，SSL在网络传输层对网络连接进行加密，SSL协议位于TCP/IP协议与各种应用层协议之间，为数据通信提供安全支持。SSL协议分为两层，SSL记录协议建立在TCP之上，为高层协议提供数据封装、 阅读全文
posted @ 2018-06-08 14:30
duanxz
阅读(57938)
评论(1)
推荐(3)
摘要：
flume自带很长多的source，如：exe、kafka...其中有一个非常简单的source——httpsource，使用httpSource，flume启动后会拉起一个web服务来监听指定的ip和port。常用的使用场景：对于有些应用环境中，不能部署Flume SDK及其依赖项，可以在代码中通 阅读全文
posted @ 2018-06-08 14:22
duanxz
阅读(1720)
评论(0)
推荐(0)
浙公网安备 33010602011771号