[置顶]推荐工作机会

正文内容加载中...
posted @ 2014-11-28 11:11 fxjwind 阅读(543) 评论(0) 编辑

Flink - ShipStrategyType

摘要: 对于DataStream,可以选择如下的Strategy, /** * Sets the partitioning of the {@link DataStream} so that the output elements * are broadcasted to every parallel instance of the next operation. ...阅读全文
posted @ 2017-04-14 10:55 fxjwind 阅读(12) 评论(0) 编辑

Flink - Scheduler

摘要: Job资源分配的过程, 在submitJob中,会生成ExecutionGraph 最终调用到, executionGraph.scheduleForExecution(scheduler) 接着,ExecutionGraph public void scheduleForExecution(SlotProvider slotProvider) throws JobException...阅读全文
posted @ 2017-04-13 15:13 fxjwind 阅读(11) 评论(0) 编辑

Flink – SlotSharingGroup

摘要: SlotSharingGroup 表示不同的task可以共享slot,但是这是soft的约束,即也可以不在一个slot 默认情况下,整个StreamGraph都会用一个默认的“default” SlotSharingGroup,即所有的JobVertex的task都可以共用一个slot /** * A slot sharing units defines which dif...阅读全文
posted @ 2017-04-13 12:17 fxjwind 阅读(4) 评论(0) 编辑

Flink – JobManager.submitJob

摘要: JobManager作为actor, case SubmitJob(jobGraph, listeningBehaviour) => val client = sender() val jobInfo = new JobInfo(client, listeningBehaviour, System.currentTimeMillis(), jo...阅读全文
posted @ 2017-04-05 17:25 fxjwind 阅读(29) 评论(0) 编辑

Flink - StreamJob

摘要: 先看最简单的例子, final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream> stream = env.addSource(...); stream .map(new MapFunction() {...}) .add...阅读全文
posted @ 2017-04-01 13:51 fxjwind 阅读(34) 评论(0) 编辑

Flink – WindowedStream

摘要: 在WindowedStream上可以执行,如reduce,aggregate,min,max等操作 关键是要理解windowOperator对KVState的运用,因为window是用它来存储window buffer的 采用不同的KVState,会有不同的效果,如ReduceState,ListState Reduce /** * Applies the gi...阅读全文
posted @ 2017-03-21 17:27 fxjwind 阅读(20) 评论(0) 编辑

Flink - watermark

摘要: 参考,Flink - Generating Timestamps / Watermarks watermark,只有在有window的情况下才用到,所以在window operator前加上assignTimestampsAndWatermarks即可 不一定需要从source发出 1. 首先,source可以发出watermark 我们就看看kafka source的实现 ...阅读全文
posted @ 2017-03-16 18:07 fxjwind 阅读(42) 评论(0) 编辑

Copycat - StateMachine

摘要: 看下用户注册StateMachine的过程, CopycatServer.Builder builder = CopycatServer.builder(address); builder.withStateMachine(MapStateMachine::new); MapStateMachine::new这会构造一个supplier /** * Sets the Raft...阅读全文
posted @ 2017-03-16 16:41 fxjwind 阅读(11) 评论(0) 编辑

Java8 in action

摘要: 解决的问题: behavior parameterization,即可以把一段code,逻辑作为参数传入; 这样做的目的,当然为了代码抽象和重用,把变化的逻辑抽象出去; 在java中,如果要实现behavior parameterization,需要通过传入类对象的方式,你首先要声明很多类,verb阅读全文
posted @ 2017-03-15 17:30 fxjwind 阅读(36) 评论(0) 编辑

Copycat - configure

摘要: Copycat server之间的configure是如何,何时被同步的? 大家可以看到,只有leader可以同步配置 1. 显式的调用LeaderState.configure LeaderState.configure /** * Commits the given configuration. */ protected CompletableFutu...阅读全文
posted @ 2017-03-10 14:03 fxjwind 阅读(12) 评论(0) 编辑

公告

统计

  • 随笔 - 365
  • 文章 - 0
  • 评论 - 186