2019年6月11日
kafka sasl & java api
摘要： 第一种Properties props = new Properties();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, “node01:9092”);props.put(“acks”, “all”);props.put(“retries”, 0);props.put(“batch.size”, 16384);props.put(“ling... 阅读全文
posted @ 2019-06-11 14:03 春江师兄 阅读(2121) 评论(0) 推荐(0)
2019年6月6日
org.apache.hadoop.hdfs.protocol.UnregisteredNodeException
摘要： datanode启动之后，一直在汇报本机的状态信息，但是无法注册成功。经检查是 三个datanode的 datanodeUuid 一样。检查命令如下： cat /export/data/hdp/dfs/data/current/VERSION 解决：3个datanode中，删除掉2个一样的，保留一个即可。然后重新启动即可。hadoop-daemon.sh start datanode 阅读全文
posted @ 2019-06-06 15:31 春江师兄 阅读(335) 评论(0) 推荐(0)
2019年6月5日
Log aggregation has not completed or is not enabled.
摘要： 打算下载flink程序的日志看看，发现报错：yarn application -list -appStates ALL |grep Flink yarn logs -applicationId application_1554280683684_749610Log aggregation has not completed or is not enabled.解决：yarn-site.xml 配置... 阅读全文
posted @ 2019-06-05 20:38 春江师兄 阅读(987) 评论(0) 推荐(0)
Flink window Function - ProcessAllWindowFunction
摘要： package window.non_keyedimport org.apache.flink.api.common.functions.FlatMapFunctionimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.Str... 阅读全文
posted @ 2019-06-05 10:40 春江师兄 阅读(2695) 评论(0) 推荐(0)
Flink window Function– window concept
摘要： 窗口的划分：翻滚窗口（Tumbling Window，无重叠）滚动窗口（Sliding Window，有重叠）会话窗口（Session Window，活动间隙）窗口的类型： 窗口在处理数据前，会对数据做分流，有两种控制流的方式，按照数据流划分：Keyed和Non-Keyed Windows。 Keyed Windows：就是有按照某个字段分组的数据流使用的窗口，可以理解为按照原始数据流中的... 阅读全文
posted @ 2019-06-05 10:07 春江师兄 阅读(1092) 评论(0) 推荐(0)
Flink window Function - ProcessWindowFunction
摘要： package windowimport org.apache.flink.api.common.functions.AggregateFunctionimport org.apache.flink.api.scala._import org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.fl... 阅读全文
posted @ 2019-06-05 09:57 春江师兄 阅读(3512) 评论(2) 推荐(0)
Flink window Function - ReduceWordCount
摘要： package windowimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.streaming.api.windowing... 阅读全文
posted @ 2019-06-05 09:50 春江师兄 阅读(866) 评论(0) 推荐(0)
Flink window Function - AggregateFunction
摘要： package windowimport org.apache.flink.api.common.functions.AggregateFunctionimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala.StreamExecu... 阅读全文
posted @ 2019-06-05 09:49 春江师兄 阅读(2223) 评论(0) 推荐(0)
Flink window Function - FoldFunction
摘要： package windowimport org.apache.flink.api.common.functions.{AggregateFunction, FoldFunction}import org.apache.flink.api.scala._import org.apache.flink.streaming.api.functions.source.SourceFunctionimpo... 阅读全文
posted @ 2019-06-05 09:48 春江师兄 阅读(1221) 评论(0) 推荐(0)
2019年5月23日
Flink Kafka consumer的消费策略配置
摘要： val helloStream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello", valueDeserializer, kafkaProps) // 指定消费策略 helloStream.setStartFromEarliest() // - 从最早的记录开始； helloStream.s... 阅读全文
posted @ 2019-05-23 15:39 春江师兄 阅读(11436) 评论(0) 推荐(0)