摘要：脚本生产数据 >flume采集数据 >kafka消费数据 >storm集群处理数据 日志文件使用log4j生成，滚动生成！ 当前正在写入的文件在满足一定的数量阈值之后，需要重命名！！！ flume+Kafka整合步骤及相关配置：（先安装好zookeeper集群和Kafka集群） 配置flume： 1 阅读全文

摘要：1、kafka是什么 类JMS消息队列，结合JMS中的两种模式（点对点模型，发布者/订阅者模型），可以有多个消费者主动拉取数据，在JMS中只有点对点模式才有消费者主动拉取数据。 kafka是一个生产-消费模型。 Producer：生产者，只负责数据生产，生产者的代码可以集成到任务系统中。 数据的分发 阅读全文

摘要：使用idea实现相关API操作，先要再pom.xml重添加Kafka依赖： Kafka生产者API: Kafka消费者API： kafka自定义patition: 阅读全文

摘要：Kafka介绍 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS 1、Apache Kafka是一个开源消息系统，用Scala写成。 2、Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性， 阅读全文