随笔分类 - Scala
JVM编程语言
摘要：在一个akka-cluster环境里，从数据调用的角度上，JDBC数据库与集群中其它节点是脱离的。这是因为JDBC数据库不是分布式的，不具备节点位置透明化特性。所以，JDBC数据库服务器必须通过服务方式来向外提供数据操。在这种场景里服务端是JDBC服务，其它节点，包括其它的JDBC数据库节点都是这个
阅读全文
摘要：首先声明：标题上的所谓编程模式是我个人考虑在集群环境下跨节点（jvm）的流程控制编程模式，纯粹按实际需要构想，没什么理论支持。在5月份的深圳scala meetup上我分享了有关集群环境下的编程模式思路。我提供了下面这个示意图： 上图是我正在探讨的“现代企业I.T综合数据平台”网络结构。因为互联网经
阅读全文
摘要：在前面几篇讨论里我们介绍了scala-gRPC的基本功能和使用方法，我们基本确定了选择gRPC作为一种有效的内部系统集成工具，主要因为下面gRPC支持的几种服务模式： 很明显，gRPC支持双向的streaming。那么如果能把gRPC中ListenableFuture和StreamObserver这
阅读全文
摘要：我们知道，在集群环境节点之间进行交换的数据必须经过序列化/反序列化处理过程，而在这方面protobuf是一个比较高效、易用的模式。用户首先在.proto文件中用IDL来定义系统中各种需要进行交换的数据类型。然后用protoc编译器自动产生相关的源代码，里面包括了完整的序列化处理函数。在一个集成的系统
阅读全文
摘要：接着上期讨论的gRPC unary服务我们跟着介绍gRPC streaming，包括: Server-Streaming, Client-Streaming及Bidirectional-Streaming。我们首先在.proto文件里用IDL描述Server-Streaming服务： SumOneT
阅读全文
摘要：gRPC是google开源提供的一个RPC软件框架，它的特点是极大简化了传统RPC的开发流程和代码量，使用户可以免除许多陷阱并聚焦于实际应用逻辑中。作为一种google的最新RPC解决方案，gRPC具备了以下这些强项： 1、gRPC在HTTP/2协议上用protobuf取代了json实现了最佳效率
阅读全文
摘要：任何类型的实例作为消息在两端独立系统的机器之间进行传递时必须经过序列化/反序列化serialize/deserialize处理过程。假设以下场景：在一个网络里有两台连接的服务器，它们分别部署了独立的akka系统。如果我们需要在这两台服务器的akka系统之间进行消息交换的话，所有消息都必须经过序列化/
阅读全文
摘要：前一段时间我们探讨了SDP的一个基于集群的综合数据平台解决方案，由多种数据库组成，包括：JDBC, Cassandra 及MongoDB。其中Cassandra和MongoDB属于分布式数据库，可以在集群中任何部署节点调用。而JDBC数据库则是非分布式的，无法部署在多个节点。假设我们把每种数据库的数
阅读全文
摘要：在前面几篇关于数据库引擎的讨论里很多的运算函数都返回了scala.Future类型的结果，因为我以为这样就可以很方便的实现了non-blocking效果。无论任何复杂的数据处理操作，只要把它们包在一个Future{...}里扔给系统运算就算完事不理了，马上可以把关注放到编程的其它部分了。在3月17日
阅读全文
摘要：在akka-alpakka工具包里也提供了对MongoDB的stream-connector，能针对MongoDB数据库进行streaming操作。这个MongoDB-connector里包含了MongoSource，MongoFlow，MongoSink。我们只使用MongoSource，其它两个
阅读全文
摘要：根据上篇关于MongoDB-Engine的功能设计方案，我们将在这篇讨论里进行功能实现和测试。下面是具体的功能实现代码：基本上是直接调用Mongo-scala的对应函数，需要注意的是java类型和scala类型之间的相互转换： 注意：以上所有函数都返回Future[T]结果。下面我们来试运行这些函数
阅读全文
摘要：为了让前面规划的互联网+数据平台能有效对电子商务数据进行管理及实现大数据统计功能，必须在平台上再增加一个MongDB-Engine：数据平台用户通过传入一种Context来指示MongoDB-Engine运算。与前面JDBC-Engine和Cassandra-Engine通过文本式传递指令不同的是：
阅读全文
摘要：MongoDB是一种文件型数据库，对数据格式没有硬性要求，所以可以实现灵活多变的数据存储和读取。MongoDB又是一种分布式数据库，与传统关系数据库不同的是，分布式数据库不支持table-join，所以在设计数据库表结构方面与关系数据库有很大的不同。分布式数据库有一套与传统观念不同的数据模式，在设计
阅读全文
摘要：MongoDB是一种文本式数据库。与传统的关系式数据库最大不同是MongoDB没有标准的格式要求，即没有schema，合适高效处理当今由互联网+商业产生的多元多态数据。MongoDB也是一种分布式数据库，充分具备大数据处理能力和高可用性。MongoDB提供了scala终端驱动mongo-scala-
阅读全文
摘要：akka在alpakka工具包里提供了对cassandra数据库的streaming功能。简单来讲就是用一个CQL-statement读取cassandra数据并产生akka-stream的Source。这是一个支持reactive-stream协议的流： CassandraSource.apply
阅读全文
摘要：现代信息系统应该是避不开大数据处理的。作为一个通用的系统集成工具也必须具备大数据存储和读取能力。cassandra是一种分布式的数据库，具备了分布式数据库高可用性（high-availability）特性，对于一个实时大型分布式集成系统来说是核心支柱。与传统的关系数据库对比，cassandra从数据
阅读全文
摘要：作为一种通用的数据库编程引擎，用Streaming来应对海量数据的处理是必备功能。同样，我们还是通过一种Context传递产生流的要求。因为StreamingContext比较简单，而且还涉及到数据抽取函数extractor的传递，所以我们分开来定义： 由于我们会将JDBCQueryContext传
阅读全文
摘要：在上一篇博文里我们把JDBC-Engine的读取操作部分分离出来进行了讨论，在这篇准备把更新Update部分功能介绍一下。当然，JDBC-Engine的功能是基于ScalikeJDBC的，所有的操作和属性都包嵌在SQL这个类型中： Update功能置于下面这几个子类中： 按照JDBC-Engine的
阅读全文
摘要：ScalikeJDBC在覆盖JDBC基本功能上是比较完整的，而且实现这些功能的方式比较简洁，运算效率方面自然会稍高一筹了。理论上用ScalikeJDBC作为一种JDBC-Engine还是比较理想的：让它处于各种JDBC工具库和数据库实例之间接收JDBC运算指令然后连接目标数据库进行相关运算后返回结果
阅读全文
摘要：scalikeJDBC可以通过配置文件来设置连接池及全局系统参数。对配置文件的解析是通过TypesafeConfig工具库实现的。默认加载classpath下的application.conf,application.json和application.properties文件。作为尝试，我们可以在r
阅读全文
浙公网安备 33010602011771号