[置顶]推荐工作机会

正文内容加载中...
posted @ 2014-11-28 11:11 fxjwind 阅读(537) 评论(0) 编辑

Flink – WindowedStream

摘要: 在WindowedStream上可以执行,如reduce,aggregate,min,max等操作 关键是要理解windowOperator对KVState的运用,因为window是用它来存储window buffer的 采用不同的KVState,会有不同的效果,如ReduceState,ListState Reduce /** * Applies the gi...阅读全文
posted @ 2017-03-21 17:27 fxjwind 阅读(7) 评论(0) 编辑

Flink - watermark

摘要: 参考,Flink - Generating Timestamps / Watermarks watermark,只有在有window的情况下才用到,所以在window operator前加上assignTimestampsAndWatermarks即可 不一定需要从source发出 1. 首先,source可以发出watermark 我们就看看kafka source的实现 ...阅读全文
posted @ 2017-03-16 18:07 fxjwind 阅读(10) 评论(0) 编辑

Copycat - StateMachine

摘要: 看下用户注册StateMachine的过程, CopycatServer.Builder builder = CopycatServer.builder(address); builder.withStateMachine(MapStateMachine::new); MapStateMachine::new这会构造一个supplier /** * Sets the Raft...阅读全文
posted @ 2017-03-16 16:41 fxjwind 阅读(5) 评论(0) 编辑

Java8 in action

摘要: 解决的问题: behavior parameterization,即可以把一段code,逻辑作为参数传入; 这样做的目的,当然为了代码抽象和重用,把变化的逻辑抽象出去; 在java中,如果要实现behavior parameterization,需要通过传入类对象的方式,你首先要声明很多类,verbose 就算你用匿名类的方式,也会大大影响代码的可读性 所以lambda,是functio...阅读全文
posted @ 2017-03-15 17:30 fxjwind 阅读(18) 评论(0) 编辑

Copycat - configure

摘要: Copycat server之间的configure是如何,何时被同步的? 大家可以看到,只有leader可以同步配置 1. 显式的调用LeaderState.configure LeaderState.configure /** * Commits the given configuration. */ protected CompletableFutu...阅读全文
posted @ 2017-03-10 14:03 fxjwind 阅读(8) 评论(0) 编辑

Copycat - AppendRequest

摘要: 对于Command,Configuration都要通过appendEntries的方式,把Entries同步给follower LeaderState.configure /** * Commits the given configuration. */ protected CompletableFuture configure(Collection members) { ...阅读全文
posted @ 2017-03-09 15:28 fxjwind 阅读(7) 评论(0) 编辑

Copycat - 状态

摘要: Member.Status status的变迁是源于heartbeat heartbeat,append空的entries heartbeat的逻辑是会向所有的getRemoteMemberStates,发起heartbeat AVAILABLE 在初始化的时候,每个ServerMember默认是S阅读全文
posted @ 2017-03-08 16:15 fxjwind 阅读(14) 评论(0) 编辑

Kafka – kafka consumer

摘要: ConsumerRecords records = consumer.poll(100); /** * Fetch data for the topics or partitions specified using one of the subscribe/assign APIs. It is an error to not have * subscribed ...阅读全文
posted @ 2017-03-03 11:53 fxjwind 阅读(42) 评论(0) 编辑

Copycat - command

摘要: client.submit(new PutCommand("foo", "Hello world!")); ServerContextconnection.handler(CommandRequest.class, request -> state.command(request)); State.command ReserveState开始,会把command forward到leade...阅读全文
posted @ 2017-03-01 17:18 fxjwind 阅读(6) 评论(0) 编辑

Copycat - CopycatServer

摘要: Server被拉起有两种方式, Address address = new Address("123.456.789.0", 5000); CopycatServer.Builder builder = CopycatServer.builder(address); builder.withStateMachine(MapStateMachine::new); 自己拉起一个cluster, ...阅读全文
posted @ 2017-02-24 16:53 fxjwind 阅读(4) 评论(0) 编辑

公告

统计

  • 随笔 - 360
  • 文章 - 0
  • 评论 - 186