随笔分类 - Scala
JVM编程语言
摘要：我们在这篇通过一个具体CQRS-Reader-Actor的例子来示范akka-persistence的query端编程和应用。在前面的博客里我们设计了一个CQRS模式POS机程序的操作动作录入过程，并示范了如何实现CQRS的写端编程。现在我们可以根据这个例子来示范如何通过CQRS的读端reader-
阅读全文
摘要：前面我们全面介绍了在akka-cluster环境下实现的CQRS写端write-side。简单来说就是把发生事件描述作为对象严格按发生时间顺序写入数据库。这些事件对象一般是按照二进制binary方式如blob存入数据库的。cassandra-plugin的表结构如下： 事件对象是存放在event里的
阅读全文
摘要：上篇我们做了一个WriterActor的例子，主要目的是示范WriterActor如何作为集群分片用persistentActor特性及event-sourcing模式实现CQRS的写功能。既然是集群分片，那么我们就在这篇讲讲WriterActor的部署和测试，因为这个里面还是有些值得注意的地方。下
阅读全文
摘要：我觉着，CQRS的写部分最核心、最复杂的部分应该是Writer-Actor了。其它的监管（supervising）、分片部署等都比较规范，没太多的变动。几乎Writer-Actor所有的业务逻辑都在Receive函数里，这个地方应该算是最复杂的地方。我的想法是搭建一个标准框架，保证可以运行Write
阅读全文
摘要：上篇我介绍了CQRS模式存写部分的具体实现和akka-persistence一些函数和消息的用法。在这篇本来是准备直接用一个具体的例子来示范CQRS模式编程，主要是写端，或者是数据采集端。想着模拟收银机的后端操作，可以使用集群分片（cluster-sharding），每个分片shard代表一部POS
阅读全文
摘要：上篇我们提到CQRS是一种读写分离式高并发、大流量数据录入体系，其中存写部分是通过event-sourcing+akka-persistence实现的。也可以这样理解：event-sourcing（事件源）是一种特殊数据录入模式，akka-persistence是这种模式的具体实现方式。事件源的核心
阅读全文
摘要：上一篇我们讨论了akka-cluster的分片（sharding）技术。在提供的例子中感觉到akka这样的分布式系统工具特别适合支持大量的带有内置状态的，相对独立完整的程序在集群节点上分布运算。这里重点要关注这些程序的内部状态，它们会占用系统资源包括内存。把状态保存在内存里相对存放在数据库里能显著提
阅读全文
摘要：在前面几篇讨论里我们介绍了在集群环境里的一些编程模式、分布式数据结构及具体实现方式。到目前为止，我们已经实现了把程序任务分配给处于很多服务器上的actor，能够最大程度的利用整体系统的硬件资源。这是因为通过akka-cluster能够把很多服务器组合成一个虚拟的整体系统，编程人员不需要知道负责运算的
阅读全文
摘要：分布式程序运算是一种水平扩展（scale-out）运算模式，其核心思想是能够充分利用服务器集群中每个服务器节点的计算资源，包括：CPU、内存、硬盘、IO总线等。首先对计算任务进行分割，然后把细分的任务分派给各节点去运算。细分的任务相互之间可以有关联或者各自为独立运算，使用akka-cluster可以
阅读全文
摘要：在实际应用中，集群环境里共用一些数据是不可避免的。我的意思是有些数据可以在任何节点进行共享同步读写，困难的是如何解决更改冲突问题。本来可以通过分布式数据库来实现这样的功能，但使用和维护成本又过高，不值得。分布式数据类型distributed-data （ddata）正是为解决这样的困局而设计的。ak
阅读全文
摘要：上篇我们介绍了distributed pub/sub消息传递机制。这是在同一个集群内的消息共享机制：发布者（publisher）和订阅者（subscriber）都在同一个集群的节点上，所有节点上的DistributedPubSubMediator通过集群内部的沟通机制在底层构建了消息流通渠道。在ac
阅读全文
摘要：上期我们介绍了cluster singleton，它的作用是保证在一个集群环境里永远会有唯一一个singleton实例存在。具体使用方式是在集群所有节点部署ClusterSingletonManager，由集群中的leader节点选定其中一个节点并指示上面的ClusterSingletonManag
阅读全文
摘要：关于cluster-singleton我在前面的博文已经介绍过，在这篇我想回顾一下它的作用和使用方法。首先，cluster-singleton就是集群某个节点上的一个actor。任何时间在集群内保证只会有一个这种actor的实例。它可以是在任何节点上，具体位置由akka-cluster系统的lead
阅读全文
摘要：scala中的Option类型是个很好用的数据结构，用None来替代java的null可以大大降低代码的复杂性，它还是一个更容易解释的状态表达形式，比如在读取数据时我们用Some(Row)来代表读取的数据行Row，用None来代表没有读到任何数据，免去了null判断。由此我们可以对数据库操作的结果有
阅读全文
摘要：在对上一次3月份的scala-meetup里我曾分享了关于Future在函数组合中的问题及如何用Monix.Task来替代。具体分析可以查阅这篇博文。在上篇示范里我们使用了Future来实现某种non-blocking数据库操作，现在可以用Task替换Future部分： Task是一个真正的Mona
阅读全文
摘要：刚完成了9月份深圳scala-meetup，趁刮台风有空，把我在meetup里的分享在这里发表一下。我这次的分享主要分三个主题：“Monadic编程风格“、”Future vs Task and ReaderMonad应用方法“及”using heterogeneous monads in for-
阅读全文
摘要：gRPC Streaming的操作对象由服务端和客户端组成。在一个包含了多个不同服务的集群环境中可能需要从一个服务里调用另一个服务端提供的服务。这时调用服务端又成为了提供服务端的客户端了（服务消费端）。那么如果我们用streaming形式来提交服务需求及获取计算结果就是以一个服务端为Source另一
阅读全文
摘要：我在前面提到过MongoDB不支持像SQL般字符式的操作指令，所以我们必须对所有的MongoDB操作指令建立protobuf类型才能支持MongoDB指令的序列化。在对上一篇博文里我们把MongoDB的消息指令序列化单独挑出来讨论了一番，在这篇我们准备在一个MongoDB scala开发环境里通过s
阅读全文
摘要：前两篇我们介绍了JDBC和Cassandra的gRPC streaming实现。相对MongoDB来说，JDBC和Cassandra支持字符类型的query语句SQL,CQL，所以把query指令转换成protobuf structures是简单直接的。而MongoDB没有提供字符类的query，所
阅读全文
摘要：在上一篇博文里我们介绍了通过gRPC实现JDBC数据库的streaming，这篇我们介绍关于cassandra的streaming实现方式。如果我们需要从一个未部署cassandra的节点或终端上读取cassandra数据，可以用gRPC来搭建一个数据桥梁来连接这两端。这时cassandra这端就是
阅读全文
浙公网安备 33010602011771号