摘要： kafka 0.9.0添加了一套新的Java 消费者API，用以替换之前的high-level API (基于ZK) 和low-level API。新的Java消费者API目前为测试版。另外kafka 0.9暂时还支持0.8的Client。 1、High Level Consumer（0.8） pa 阅读全文

摘要： 说明：此方案已经我们已经运行1年。 1、场景描述： 我们对客户登录日志做了数据仓库，但实际业务使用中有一些个共同点， A 需要关联维度表 B 最终仅取某个产品一段时间内的数据 C 只关注其中极少的字段 基于以上业务，我们决定每天定时统一关联维度表，对关联后的数据进行另外存储。各个业务直接使用关联后的 阅读全文

摘要： 1、环境： 1.1、cassandra 集群： 用于日志数据存储 1.2、spark集群： 用户后期的实时计算及批处理 1.3、codis 集群： 用于缓存一些基本数据如IP归属地，IP经纬度等，当日志上来，对日志进行补全 1.4、postgres数据库： 1、用于存储维度表 2、存储统计结果 1. 阅读全文

摘要： spark streaming 不同于sotm，是一种准实时处理系统。storm 中，把批处理看错是时间教程的实时处理。而在spark streaming中，则反过来，把实时处理看作为时间极小的批处理。 1、三个时间参数 spark streaming 中有三个关于时间的参数，分别如下： 窗口时间w 阅读全文

摘要： 0、环境准备 0.1、linux 0.2、java 0.3、下载apollo二进制包，解压 0.4、创建broker，名字为 userlog {APOLLO_HOME}/bin/apollo create userlog 0.5 启动apollo cd {APOLLO_HOME}/userlog b 阅读全文

摘要： apollo 源自 activemq，以快速、可靠著称，支持多协议：STOMP, AMQP, MQTT, Openwire, SSL, and WebSockets，下面就STOMP, AMQP, MQTT客户端进行介绍。 以下针对apollo 1.7.1 进行介绍 1、stomp 1.1 stom 阅读全文

摘要： STOMP协议规范英文原文：http://stomp.github.io/stomp-specification-1.2.html STOMP协议规范译文原文：http://simlegate.com/2013/10/17/stomp-specification-1.2/ Apollo 1.7.1 阅读全文

摘要： 1.4 channel.basicAck(); 1.5 channel.basicNack(delivery.getEnvelope().getDeliveryTag(), false, true); 1.5 channel.basicReject(delivery.getEnvelope().ge 阅读全文

摘要： Producer端 1、channel的创建 无论是才用什么样的Exchange，创建channel代码都是相同的，如下 2、Exchange的创建 2.1 direct direct使用默认的Exchange，不需要声明，单需要指定消息发送到那个队列 2.2 fanout 2.3 topic如下 阅读全文

摘要： 1、内存 spark.storage.memoryFraction：很明显，是指spark缓存的大小，默认比例0.6 spark.shuffle.memoryFraction：管理executor中RDD和运行任务时的用于对象创建内存比例，默认0.2 关于这两个参数的设置，常见的一个场景就是操作关系 阅读全文