[置顶]推荐工作机会

正文内容加载中...
posted @ 2014-11-28 11:11 fxjwind 阅读(585) 评论(0) 编辑

流计算技术实战 - 超大维表问题

摘要: 维度表,作为数据仓库里面的概念,是维度属性的集合,比如时间维、地点维; 但这里要讨论流计算中的维度表问题, 流计算中维表问题和数据仓库中有所不同,往往是因为通过agent采集到的数据比较有限,在做数据业务的时候,需要先实时的把这些维度信息给补全; 这个问题其实就是,主数据流和多个静态表或半静态表之间的join问题。 在flink中称为side input问题,https://cwiki.a...阅读全文
posted @ 2017-11-02 11:25 fxjwind 阅读(34) 评论(0) 编辑

Flink - allowedLateness

摘要: WindowOperator processElement 如果clear只是简单的注册EventTimeTimer,那么在onEventTime的时候一定有clear的逻辑、 WindowOperator.onEventTime 果然,onEventTime的时候会判断,如果Timer的time等阅读全文
posted @ 2017-10-31 11:54 fxjwind 阅读(17) 评论(0) 编辑

Flink – process watermark

摘要: WindowOperator.processElement 主要的工作,将当前的element的value加到对应的window中, windowState.setCurrentNamespace(window); windowState.add(element.getValue()); triggerContex...阅读全文
posted @ 2017-10-12 17:08 fxjwind 阅读(28) 评论(0) 编辑

Flink - InputGate

摘要: 初始化 Task List consumedPartitions = tdd.getInputGates(); // Consumed intermediate result partitions this.inputGates = new SingleInputGate[consumedPartitions.size()]; this.inputGatesById = new Has...阅读全文
posted @ 2017-10-09 15:35 fxjwind 阅读(11) 评论(0) 编辑

Flink - ResultPartition

摘要: 发送数据一般通过,collector.collect public interface Collector { /** * Emits a record. * * @param record The record to collect. */ void collect(T record); /** ...阅读全文
posted @ 2017-10-09 15:34 fxjwind 阅读(13) 评论(0) 编辑

Flink -- Keyed State

摘要: /* {@code * DataStream stream = ...; * KeyedStream keyedStream = stream.keyBy("id"); * * keyedStream.map(new RichMapFunction>() { * * private ValueState count;...阅读全文
posted @ 2017-09-28 16:52 fxjwind 阅读(12) 评论(0) 编辑

Flink – CEP NFA

摘要: 看看Flink cep如何将pattern转换为NFA? 当来了一条event,如果在NFA中执行的? 前面的链路,CEP –> PatternStream –> select –> CEPOperatorUtils.createPatternStream 1. 产生NFACompiler.compileFactory,完成pattern到state的转换final NFACompiler...阅读全文
posted @ 2017-09-26 16:02 fxjwind 阅读(15) 评论(0) 编辑

cruise-control

摘要: https://github.com/linkedin/cruise-control https://engineering.linkedin.com/blog/2017/08/open-sourcing-kafka-cruise-control mark阅读全文
posted @ 2017-08-29 15:24 fxjwind 阅读(20) 评论(0) 编辑

FlinkCEP - Complex event processing for Flink

摘要: https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/libs/cep.html 首先目的是匹配pattern sequence pattern Sequence是由多个pattern构成 DataStream input = ... Pattern pattern = Pattern.begin("start").w...阅读全文
posted @ 2017-08-08 16:31 fxjwind 阅读(54) 评论(0) 编辑

Flink - CoGroup

摘要: 使用方式, dataStream.coGroup(otherStream) .where(0).equalTo(1) .window(TumblingEventTimeWindows.of(Time.seconds(3))) .apply (new CoGroupFunction () {...}); 可以看到coGroup只是产生CoGroupedStr...阅读全文
posted @ 2017-07-21 12:00 fxjwind 阅读(45) 评论(0) 编辑

公告

统计

  • 随笔 - 383
  • 文章 - 0
  • 评论 - 191