05 2021 档案

6_Flink 的容错机制
摘要：文章来源与《尚硅谷2021最新Java版Flink（武老师清华硕士，原IBM-CDL负责人）》 https://www.bilibili.com/video/BV1qy4y1q728 ###主要内容 • 一致性检查点（checkpoint） • 从检查点恢复状态 • Flink 检查点算法 • 保存 阅读全文
posted @ 2021-05-07 14:31 Eistert 阅读(147) 评论(0) 推荐(0)
5_Flink的状态管理
摘要：文章来源与《尚硅谷2021最新Java版Flink（武老师清华硕士，原IBM-CDL负责人）》 https://www.bilibili.com/video/BV1qy4y1q728 ###主要内容 • Flink 中的状态 • 算子状态（Operatior State） • 键控状态（Keyed 阅读全文
posted @ 2021-05-07 14:01 Eistert 阅读(197) 评论(0) 推荐(0)
4_Flink中的时间语义和watermark
摘要：文章来源与《尚硅谷2021最新Java版Flink（武老师清华硕士，原IBM-CDL负责人）》 https://www.bilibili.com/video/BV1qy4y1q728 ###主要内容 • Flink 中的时间语义 • 设置 Event Time • 水位线（Watermark） • 阅读全文
posted @ 2021-05-07 11:44 Eistert 阅读(246) 评论(0) 推荐(0)
3_Flink window API
摘要：文章来源与《尚硅谷2021最新Java版Flink（武老师清华硕士，原IBM-CDL负责人）》 https://www.bilibili.com/video/BV1qy4y1q728 ###主要内容 window 概念 window 类型 window API ###窗口（window） 一般真实的 阅读全文
posted @ 2021-05-07 11:02 Eistert 阅读(154) 评论(0) 推荐(0)
2_Flink 运行架构 -讲师：武晟然
摘要：文章来源与《尚硅谷2021最新Java版Flink（武老师清华硕士，原IBM-CDL负责人）》 https://www.bilibili.com/video/BV1qy4y1q728 ###主要内容 • Flink 运行时的组件 • 任务提交流程 • 任务调度原理 ###Flink 运行时的组件 # 阅读全文
posted @ 2021-05-07 10:23 Eistert 阅读(1083) 评论(0) 推荐(0)
1_Flink简介
摘要：文章来源与《尚硅谷2021最新Java版Flink（武老师清华硕士，原IBM-CDL负责人）》 https://www.bilibili.com/video/BV1qy4y1q728 ###Flink 流处理简介 ###主要内容 • Flink 是什么 • 为什么要用 Flink • 流处理的发展和 阅读全文
posted @ 2021-05-06 18:32 Eistert 阅读(198) 评论(0) 推荐(1)
MaxWell ops
摘要：###Download Download binary distro: https://github.com/zendesk/maxwell/releases/download/v1.33.0/maxwell-1.33.0.tar.gz Sources and bug tracking is ava 阅读全文
posted @ 2021-05-06 17:41 Eistert 阅读(101) 评论(0) 推荐(0)
linux command
摘要：###查看服务器公网ip curl cip.cc ###禁用用透明大页面压缩 sudo echo never > /sys/kernel/mm/transparent_hugepage/defrag sudo echo never > /sys/kernel/mm/transparent_hugep 阅读全文
posted @ 2021-05-06 17:35 Eistert 阅读(81) 评论(0) 推荐(0)
fllink tast test
摘要：###内置案例 ###第一种方式，永久集群 bin/flink run ./examples/batch/WordCount.jar bin/flink run ./examples/batch/WordCount.jar ###第二种方式 临时集群 export HADOOP_CLASSPATH= 阅读全文
posted @ 2021-05-06 17:31 Eistert 阅读(52) 评论(0) 推荐(0)
ElasticSearch ops command
摘要：###Docker安装ElasticSearch docker pull elasticsearch:7.12.0 ###查看本地镜像列表 docker images | grep elasticsearch ###运行镜像 docker run --name elasticsearch -d -p 阅读全文
posted @ 2021-05-06 17:29 Eistert 阅读(49) 评论(0) 推荐(0)
yarn ops command
摘要：###取消任务 yarn application -kill application_1619436641297_0005 ###查看任务日志 yarn logs -applicationId application_1619409580125_0007 > logs.txt yarn logs - 阅读全文
posted @ 2021-05-06 17:27 Eistert 阅读(19) 评论(0) 推荐(0)
kafka ops commmand
摘要：###kafka_2.12-1.0.2 common command ###1.启动kafka服务 bin/kafka-server-start.sh config/server.properties & ###2.停止kafka服务 ./kafka-server-stop.sh ###3.查看所有 阅读全文
posted @ 2021-05-06 17:25 Eistert 阅读(111) 评论(0) 推荐(0)
flink常用命令
摘要：使用Maven将自己的代码编译打包 打好的包一般放在工程目录的target子文件夹下 mvn clean package ###flink任务运行命令 session模式运行 flink run --class com.zclh.data.wordcount.WordCountKafkaInStdO 阅读全文
posted @ 2021-05-06 17:18 Eistert 阅读(1338) 评论(0) 推荐(0)
大数据相关文章
摘要：###什么是JIT https://blog.csdn.net/shenwansangz/article/details/95601232 ###在 Mac 上使用 QuickTime Player 录制音频 https://support.apple.com/zh-cn/guide/quickti 阅读全文
posted @ 2021-05-06 17:10 Eistert 阅读(157) 评论(0) 推荐(0)
启动flink的history storey 进程
摘要：###问题：flink任务cancel或kill后，对应的flink Dashboard web页面无法查看，历史任务执行信息无法查看。 ###解决方法，启动flink的history storey 进程。 [root@bigdata04 flink-1.11.1]# vi conf/flink-c 阅读全文
posted @ 2021-05-06 16:16 Eistert 阅读(536) 评论(0) 推荐(0)
Flink Heartbeat of TaskManager和Heartbeat of ResourceManager timed out问题
摘要：###Flink Heartbeat of TaskManager和Heartbeat of ResourceManager timed out问题 Job has been submitted with JobID 8dd3ba06d7b8f6d5039aec221bcb5571 The prog 阅读全文
posted @ 2021-05-06 15:15 Eistert 阅读(1844) 评论(0) 推荐(0)
flink on yarn job 模式运行flink任务，运行一段时间后任务自动退出并抛出异常！
摘要：###flink on yarn job 模式运行flink任务 运行一段时间后任务自动退出并抛出异常。异常如下： Job has been submitted with JobID 2fe14a4a5acb49d49e0ad5994726fd69 The program finished with 阅读全文
posted @ 2021-05-06 14:27 Eistert 阅读(2674) 评论(2) 推荐(0)
flink job on yarn Timeout expired while fetching topic metadata
摘要：###flink on yarn 以session模式跑flink任务时，当运行命令时，Task Managers 中logs打印警告日志如下： WARN [Producer clientId=console-producer] Connection to node -1 could not be 阅读全文
posted @ 2021-05-06 13:58 Eistert 阅读(3392) 评论(0) 推荐(0)