atao-BigData

摘要： 2、format 1、json json格式表结构按照字段名和类型进行映射 增加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-json</artifactId> <version>1.15.0</versi 阅读全文

摘要： Flink SQL flink 官网 https://nightlies.apache.org/flink/flink-docsmaster/zh/docs/connectors/table/datagen/ flink sql版本的WordCount package com.wt.flink.sq 阅读全文

摘要： Flink-core小总结 1. 实时计算和离线计算 1.1 离线计算 离线计算的处理数据是固定的 离线计算是有延时的，T+1 离线计算是数据处理完输出结果，只是输出最终结果 离线计算相对可以处理复杂的计算 1.2 实时计算 实时计算是实时的处理数据，数据从流入到计算出结果延迟低 实时计算是输出连续 阅读全文

摘要： Flink-Exactly Once(如何保证数据的唯一性和不重复!) kafka中如何保证数据不丢失 1. kafka中如何保证数据不丢失 2. 向kafka中sink数据 package com.wt.flink.sink import org.apache.flink.api.common.s 阅读全文

摘要： 状态+checkpoint（重点） 状态 flink用于保存之前计算结果的机制 flink会为每一个key保存一个状态 常用的sum（需要保存之前的计算结果） window（需要保存一段时间内的数据）内部都是有状态的 flink也提供了几种查用的状态类 valueState: 单值状态，为每一个ke 阅读全文

摘要： Flink process(底层)(windowprocess可以获取到时间) 1. process package com.wt.flink.core import org.apache.flink.configuration.Configuration import org.apache.fli 阅读全文

摘要： 练习-统计卡口通过的车辆数量（及提交到集群中的问题） 统计卡口查流量 1、统计最近15分分钟的车流量 2、每隔5分钟统计一次 3、使用事件时间 4、数据源使用kafka 5、将统计好的结果保存到mysql中 1、创建kafka生产者生产几条数据 #创建一个Topic kafka-topics.sh 阅读全文

摘要： canal搭建-简单使用，flume配合kafka使用 开启mysql binlog 默认没有开启 开启binlog之后mysql的性能会手动影响 1、修改mysql配置文件/etc/my.cnf # 如果配置文件不存在，复制一个过来 cp /usr/share/mysql/my-medium.cn 阅读全文

摘要： Kafka-java 1. 在写代码前需要导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka</artifactId> <version>${flink.version}</v 阅读全文

摘要： Kafka -搭建 1、上传解压修改环境变量 # 解压 tar -xvf kafka_2.11-1.0.0.tgz # 配置环境变量 vim /etc/profile export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0 export PATH=$PA 阅读全文