摘要：Flink-Exactly Once(如何保证数据的唯一性和不重复!) kafka中如何保证数据不丢失 1. kafka中如何保证数据不丢失 2. 向kafka中sink数据 package com.wt.flink.sink import org.apache.flink.api.common.s 阅读全文

摘要：练习-统计卡口通过的车辆数量（及提交到集群中的问题） 统计卡口查流量 1、统计最近15分分钟的车流量 2、每隔5分钟统计一次 3、使用事件时间 4、数据源使用kafka 5、将统计好的结果保存到mysql中 1、创建kafka生产者生产几条数据 #创建一个Topic kafka-topics.sh 阅读全文

摘要：Kafka-java 1. 在写代码前需要导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka</artifactId> <version>${flink.version}</v 阅读全文

摘要：Kafka -搭建 1、上传解压修改环境变量 # 解压 tar -xvf kafka_2.11-1.0.0.tgz # 配置环境变量 vim /etc/profile export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0 export PATH=$PA 阅读全文

摘要：kafka初识 1. kafka是一个高吞吐的分布式消息系统 2. 消息队列的应用场景 3. kafka架构 4. kafka的消息存储和生产消费模型 5. Topic kafka里面的消息是有topic来组织的，简单的我们可以想象为一个队列，一个队列就是一个topic，然后它把每个topic又分为 阅读全文