09 2017 档案

使用Flink时遇到的问题（不断更新中）
摘要：1.Jobmanager启动不起来 现象1：查看JobManager日志： WARN org.apache.flink.runtime.webmonitor.JobManagerRetriever - Failed to retrieve leader gateway and port. akka. 阅读全文
posted @ 2017-09-16 22:13 静若清池 阅读(41186) 评论(4) 推荐(1)
Intellij IDEA中使用Protobuf的正确姿势
摘要：一、.proto文件语法高亮显示 需要安装Protobuf Support插件 依次点击Intellij中的“File”-->"Settings"-->"Plugins"-->"Browse repositories"，如下所示： 输入Protobuf，如下所示 安装完后，重启Intellij ID 阅读全文
posted @ 2017-09-11 16:24 静若清池 阅读(90083) 评论(2) 推荐(10)
Flink JobManager HA模式部署（基于Standalone）
摘要：参考文章：https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/jobmanager_high_availability.html#bootstrap-zookeeper Flink典型的任务处理过程如下所示： 很容易发现 阅读全文
posted @ 2017-09-06 10:07 静若清池 阅读(11232) 评论(4) 推荐(0)
查看Flink的Job Graph时的问题
摘要：Flink运行Job时，可以通过Job Graph看到执行计划，但是如果用IE，会被坑： 换成谷歌Chrome，就OK了： 这个Job Grap，好像是SVG的，可能是IE不支持SVG，需要安装插件才可以，只是猜测，没有去验证，还是用谷歌了，靠谱！ 阅读全文
posted @ 2017-09-05 18:44 静若清池 阅读(591) 评论(0) 推荐(0)
Flink从Kafka 0.8中读取多个Topic时的问题
摘要：Flink提供了FlinkKafkaConsumer08，使用Kafka的High-level接口，从Kafka中读取指定Topic的数据，如果要从多个Topic读取数据，可以如下操作： 1.application.conf中配置 如果使用了配置管理库typesafe.config，可以在其appl 阅读全文
posted @ 2017-09-05 16:57 静若清池 阅读(7918) 评论(0) 推荐(0)
停止Flink任务
摘要：1.简单粗暴 控制台中Ctrl+C 2.UI中点击"Cancel" 3.执行cancel命令，需要知道Flink的Job ID 阅读全文
posted @ 2017-09-05 14:06 静若清池 阅读(5411) 评论(0) 推荐(0)
Structured Streaming从Kafka 0.8中读取数据的问题
摘要：众所周知，Structured Streaming默认支持Kafka 0.10，没有提供针对Kafka 0.8的Connector，但这对高手来说不是事儿，于是有个Hortonworks的邵大牛（前段时间刚荣升Spark Committer）给出了一个开源的第三方解决方案： 不过下载下来后，编译不通 阅读全文
posted @ 2017-09-04 21:55 静若清池 阅读(797) 评论(0) 推荐(0)