雪川大虫

摘要： 我们在前面用了许多章节来讨论如何把数据从后台数据库中搬到内存，然后进行逐行操作运算。我们选定的解决方案是把后台数据转换成内存中的数据流。无论在打开数据库表或从数据库读取数据等环节都涉及到对数据库表这项资源的安全使用：我们最起码要保证在完成使用或者使用中途出现错误异常退出时能释放占用的资源。谈到资源使 阅读全文

摘要： Reactive-Stream不只是简单的push-model-stream, 它还带有“拖式”（pull-model）性质。这是因为在Iteratee模式里虽然理论上由Enumerator负责主动推送数据，实现了push-model功能。但实际上Iteratee也会根据自身情况，通过提供callb 阅读全文

摘要： 在上一节我们介绍了Iteratee。它的功能是消耗从一些数据源推送过来的数据元素，不同的数据消耗方式代表了不同功能的Iteratee。所谓的数据源就是我们这节要讨论的Enumerator。Enumerator是一种数据源：它会根据下游数据消耗方（Iteratee）的具体状态主动向下推送数据元素。我们 阅读全文

摘要： FunDA的设计目标就是把后台数据库中的数据搬到内存里，然后进行包括并行运算的数据处理，最后可能再对后台数据库进行更新。如果需要把数据搬到内存的话，那我们就必须考虑内存是否能一次性容纳所有的数据，有必要配合数据处理分部逐步读入，这就是Reactive Stream规范主要目的之一。所以在设计FunD 阅读全文

摘要： 上节我们探讨了通过scalaz-stream-fs2来驱动一套数据处理流程，用fs2的Pipe类型来实现对数据流的逐行操作。本篇讨论准备在上节讨论的基础上对数据流的流动和元素操作进行优化完善。如数据流动中增加诸如next、skip、eof功能、内容控制中增加对行元素的append、insert、up 阅读全文

摘要： 在上节讨论里我们介绍了数据行流式操作的设想,主要目的是把后台数据库的数据载入前端内存再拆分为强类型的数据行，这样我们可以对每行数据进行使用和处理。形象点描述就是对内存里的一个数据流（data-stream）进行逐行操作。我们在上节用foreach模拟了一个流控来示范数据行的操作处理。在这节我们讨论一 阅读全文

摘要： 在上一集的讨论里我们介绍并实现了强类型返回结果行。使用强类型主要的目的是当我们把后端数据库SQL批次操作搬到内存里转变成数据流式按行操作时能更方便、准确、高效地选定数据字段。在上集讨论示范里我们用集合的foreach方式模拟了一个最简单的数据流，并把从数据库里批次读取的数据集转换成一串连续的数据行来 阅读全文

摘要： FunDA的特点之一是以数据流方式提供逐行数据操作支持。这项功能解决了FRM如Slick数据操作以SQL批次模式为主所产生的问题。为了实现安全高效的数据行操作，我们必须把FRM产生的Query结果集转变成一种强类型的结果集，也就是可以字段名称进行操作的数据行类型结果集。在前面的一篇讨论中我们介绍了通 阅读全文

摘要： 大数据、多核CPU驱动了函数式编程模式的兴起。因为函数式编程更适合多线程、复杂、安全的大型软件编程。但是，对许多有应用软件开发经验的编程者来说，函数式编程模式是一种全新的、甚至抽象的概念，可能需要很长时间的学习、积累才能完全掌握和适应。对一些不算FP编程专家的人来说，如何用他们习惯的方式来使用现成的 阅读全文

摘要： 在Slick官方文档中描述：连接后台数据库后，需要通过定义Projection，即def * 来进行具体库表列column的选择和排序。通过Projection我们可以选择库表中部分列、也可以增加一些自定义列computed column。具体来说Projection提供了数据库表列与Scala值的 阅读全文