摘要： 参考来源： https://www.jianshu.com/p/6ed0ef5e2b74 https://blog.csdn.net/Fenggms/article/details/102855159 最近一直在看Flink，现在了解一下Flink的状态管理中的几种状态吧。 一、键State和操作S 阅读全文

摘要： 1、hdfs集群间数据迁移 hadoop distcp hdfs://192.128.112.66:8020/user/hive/warehouse/data.db/dwi_xxxx_d /user/hive/warehouse/ebs_data.db 阅读全文

摘要： 参考链接：https://blog.csdn.net/dajiangtai007/article/details/88575553 1、Flink 运行时架构 Flink 运行时架构主要包含几个部分：Client、JobManager（master节点）和TaskManager（slave节点）。 阅读全文

摘要： 一、Connect DataStream,DataStream -> ConnectedStream，连接两个保持他们类型的数据流，两个数据流被Connect之后，只是被放在了同一个流中，内部依然保持各自的数据和形式 不发生任何变化，两个流相互独立。 import org.apache.flink. 阅读全文

摘要： 参考地址：https://www.cnblogs.com/airnew/p/9544683.html 问题一、什么是状态？ 问题二、Flink状态类型有哪几种？ 问题三、状态有什么作用？ 问题四、如何使用状态，实现什么样的API？ 问题五、什么是checkpoint与savepoint？问题六、如何 阅读全文

摘要： 一、Flink API 1、DataSet：对静态数据进行批处理操作、将静态数据抽象成分布式数据集，使用Flink各种操作符处理数据，支持 Java 、Scala、Python 2、DataStream：对数据流进行流处理操作，将流式的数据抽象成分布式数据流，用Flink 各种操作符处理数据流，支持 阅读全文

摘要： 一、Flink与Storm两个框架的对比 二、Flink 的特性 1、高吞吐、低延迟、高性能 2、支持带事件的窗口（window） 操作：time、count、session、data-driven 3、支持有状态计算的 exactly once 语义 4、支持具有反压功能的持续流模型 5、支持基于 阅读全文

摘要： Checkpoint checkpoint是Flink容错的核心机制。它可以定期的将各个Operator处理的数据进行快照存储（Snapshot）。 如果Flink程序出现宕机，可以重新从这些快照中恢复数据。 Flink容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的check 阅读全文

摘要： Flink Data transformation 算子学习 1、Source：数据源，Flink在流处理和批处理上的source大概有4类： 基于本地集合的source、基于文件的source、基于网络套接字的source、自定义的source。 自定义的source常见的有 Apache kaf 阅读全文

摘要： 1、日期加减spark sql 日期加减，date_sub,date_addval dateDF=spark.range(10) .withColumn("today",current_date()) .withColumn("now",current_timestamp()) dateDF.cre 阅读全文