上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 14 下一页
摘要: 参考文章:http://www.cnblogs.com/jasondan/p/set_hadoop_log_level.html Hadoop版本:2.7.3。 Hadoop的默认日志级别为INFO,对于百台以上的集群,如果文件操作频繁的话,NameNode会狂打日志,对性能会有一定的影响。 我们可 阅读全文
posted @ 2017-09-19 19:57 静若清池 阅读(1991) 评论(0) 推荐(0) 编辑
摘要: 1.Jobmanager启动不起来 现象1:查看JobManager日志: WARN org.apache.flink.runtime.webmonitor.JobManagerRetriever - Failed to retrieve leader gateway and port. akka. 阅读全文
posted @ 2017-09-16 22:13 静若清池 阅读(34224) 评论(3) 推荐(1) 编辑
摘要: 一、.proto文件语法高亮显示 需要安装Protobuf Support插件 依次点击Intellij中的“File”-->"Settings"-->"Plugins"-->"Browse repositories",如下所示: 输入Protobuf,如下所示 安装完后,重启Intellij ID 阅读全文
posted @ 2017-09-11 16:24 静若清池 阅读(70584) 评论(2) 推荐(9) 编辑
摘要: 参考文章:https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/jobmanager_high_availability.html#bootstrap-zookeeper Flink典型的任务处理过程如下所示: 很容易发现 阅读全文
posted @ 2017-09-06 10:07 静若清池 阅读(9057) 评论(4) 推荐(0) 编辑
摘要: Flink运行Job时,可以通过Job Graph看到执行计划,但是如果用IE,会被坑: 换成谷歌Chrome,就OK了: 这个Job Grap,好像是SVG的,可能是IE不支持SVG,需要安装插件才可以,只是猜测,没有去验证,还是用谷歌了,靠谱! 阅读全文
posted @ 2017-09-05 18:44 静若清池 阅读(511) 评论(0) 推荐(0) 编辑
摘要: Flink提供了FlinkKafkaConsumer08,使用Kafka的High-level接口,从Kafka中读取指定Topic的数据,如果要从多个Topic读取数据,可以如下操作: 1.application.conf中配置 如果使用了配置管理库typesafe.config,可以在其appl 阅读全文
posted @ 2017-09-05 16:57 静若清池 阅读(7035) 评论(0) 推荐(0) 编辑
摘要: 1.简单粗暴 控制台中Ctrl+C 2.UI中点击"Cancel" 3.执行cancel命令,需要知道Flink的Job ID 阅读全文
posted @ 2017-09-05 14:06 静若清池 阅读(4337) 评论(0) 推荐(0) 编辑
摘要: 众所周知,Structured Streaming默认支持Kafka 0.10,没有提供针对Kafka 0.8的Connector,但这对高手来说不是事儿,于是有个Hortonworks的邵大牛(前段时间刚荣升Spark Committer)给出了一个开源的第三方解决方案: 不过下载下来后,编译不通 阅读全文
posted @ 2017-09-04 21:55 静若清池 阅读(697) 评论(0) 推荐(0) 编辑
摘要: 使用Flink时,如果从Kafka中读取输入流,默认提供的是String类型的Schema: 如果存入Kafka中的数据不是JSON,而是Protobuf类型的数据,需要用二进制的Schema进行接收,可以自己实现一个类,很简单,只有一行代码: 然后使用时,如下所示: 阅读全文
posted @ 2017-08-29 15:41 静若清池 阅读(4608) 评论(0) 推荐(0) 编辑
摘要: 如果在在Spark、Flink应用中使用Protobuf 3的包,因为Spark默认使用的是2.5版本的包,提交任务时,可能会报如下异常: 针对Spark,可以使用SPARK_CLASSPATH或是指定 的方式解决,今天在调试Flink程序时,发现还有一种解决方式: If the uber JAR 阅读全文
posted @ 2017-08-29 15:15 静若清池 阅读(3420) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 14 下一页