2015年6月10日
Storm的DRPC
摘要： RPC：Remote Procedure CallDRPC：Distributed RPCHadoop提供了RPC的实现机制，实现方法见：《》，本文主要介绍Storm的DRPC。1、Storm DRPC工作流程Storm的DRPC由DRPC Server和一个特殊的topology组成。DRPC S... 阅读全文
posted @ 2015-06-10 17:54 lishouguang 阅读(480) 评论(0) 推荐(0)
2015年6月8日
elasticsearch查询
摘要： 1、REST Request URIcurl -XGET http://vm1:9200/customer/external/_search?q=*&pretty 2、REST Request Body1）查询设置curl -XPOST http://vm1:9200/customer/external/_search?pretty -d '{query: {match_all: {}},size... 阅读全文
posted @ 2015-06-08 14:51 lishouguang 阅读(486) 评论(0) 推荐(0)
elasticsearch常用命令
摘要： elasticsearch的rest访问格式：curl -X :///1、启动[es@vm1 bin]$ ./elasticsearch --cluster.name myes --node.name node12、查看集群状态[es@vm1 ~]$ curl http://vm1:9200/_cat/health?vepoch timestamp cluster status node... 阅读全文
posted @ 2015-06-08 14:50 lishouguang 阅读(9587) 评论(0) 推荐(0)
Flume Channel Selector
摘要： Flume 基于Channel Selector可以实现扇入、扇出。同一个数据源分发到不同的目的，如下图。 在source上可以定义channel selector：123456789a1.sources=r1...a1.channels=c1 c2...a1.sources.r1.selector.type=multiplexinga1.sources.r1.selector.header=t... 阅读全文
posted @ 2015-06-08 14:48 lishouguang 阅读(1158) 评论(0) 推荐(0)
Flume组件汇总2
摘要： Component InterfaceType AliasImplementation Classorg.apache.flume.Channelmemoryorg.apache.flume.channel.MemoryChannelorg.apache.flume.Channeljdbcorg.apache.flume.channel.jdbc.JdbcChannelorg.apache.flu... 阅读全文
posted @ 2015-06-08 14:46 lishouguang 阅读(374) 评论(0) 推荐(0)
HDFS Sink使用技巧
摘要： 1、文件滚动策略在HDFS Sink的文件滚动就是文件生成，即关闭当前文件，创建新文件。它的滚动策略由以下几个属性控制：hdfs.rollInterval基于时间间隔来进行文件滚动，默认是30，即每隔30秒滚动一个文件。0就是不使用这个策略。hdfs.rollSize基于文件大小进行文件滚动，默认是1024，即当文件大于1024个字节时，关闭当前文件，创建新的文件。0就是不使用这个策略。hdfs.... 阅读全文
posted @ 2015-06-08 14:44 lishouguang 阅读(3484) 评论(0) 推荐(0)
Spooling Directory Source使用技巧
摘要： 1、使用文件原来的名字1234567891011121314151617a1.sources=r1 a1.sinks=k1 a1.sources.r1.type=spooldir .... a1.sources.r1.basenameHeader=true a1.sources.r1.basenameHeaderKey=basename ..... a1.sinks.k1.type=hdfs a1... 阅读全文
posted @ 2015-06-08 14:42 lishouguang 阅读(1199) 评论(0) 推荐(0)
Log4J Appender - 将Log4J的日志内容发送到agent的source
摘要： 项目中使用log4j打印的内容同时传输到flume1、flume端flume的agent配置内容如下：12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sources.s1.channels=c1a1.sinks.k1.channel=c1 a1.sources.s1.type=avroa1.sources.s1.bi... 阅读全文
posted @ 2015-06-08 14:41 lishouguang 阅读(637) 评论(0) 推荐(0)
Flume Source 实例
摘要： Flume Source 实例Avro Source监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sources.s1.channels=c1a1.sinks.k1.channel=c1 a1.sou... 阅读全文
posted @ 2015-06-08 14:38 lishouguang 阅读(1908) 评论(0) 推荐(0)
flume组件汇总 source、sink、channel
摘要： Flume SourceSource类型说明Avro Source支持Avro协议（实际上是Avro RPC），内置支持Thrift Source支持Thrift协议，内置支持Exec Source基于Unix的command在标准输出上生产数据JMS Source从JMS系统（消息、主题）中读取数据，ActiveMQ已经测试过Spooling Directory Source监控指定目录内数据变... 阅读全文
posted @ 2015-06-08 14:35 lishouguang 阅读(4750) 评论(0) 推荐(1)
下一页