03 2019 档案

Flink 核心技术浅析（整理版）
摘要：1. Flink简介 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink流执行引擎（streaming dataflow engine），提供支持流处理和批处理两种类型应用的功能。batch dataSet可以视作data Streaming的 阅读全文
posted @ 2019-03-31 14:05 牧梦者 阅读(5586) 评论(0) 推荐(1)
HBase RowKey与索引设计
摘要：1. HBase的存储形式 hbase的内部使用KeyValue的形式存储，其key时rowKey：family：column：logTime，value是其存储的内容。 其在region内大多以升序的形式排列，唯一的时logTime是以降序的形式进行排列。 所以，rowKey里越靠近左边的信息越容 阅读全文
posted @ 2019-03-26 18:15 牧梦者 阅读(14629) 评论(2) 推荐(4)
HBase LSM树存储引擎详解
摘要：1.前提 讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来： 哈希存储引擎。 B树存储引擎。 LSM树（Log-Structured Merge Tree）存储引擎。 2. 哈希存储引擎 哈希存储引擎哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存 阅读全文
posted @ 2019-03-25 14:49 牧梦者 阅读(4731) 评论(0) 推荐(0)
HBase读写的几种方式（三）flink篇
摘要：1. HBase连接的方式概况 主要分为： 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的JDBC操作方式也能在Spark、Flink中调用。 注意： 阅读全文
posted @ 2019-03-20 16:08 牧梦者 阅读(29500) 评论(38) 推荐(2)
HBase读写的几种方式（二）spark篇
摘要：1. HBase读写的方式概况 主要分为： 纯Java API读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成H 阅读全文
posted @ 2019-03-13 23:13 牧梦者 阅读(11823) 评论(9) 推荐(0)
HBase读写的几种方式（一）java篇
摘要：1.HBase读写的方式概况 主要分为： 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的JDBC操作方式也能在Spark、Flink中调用。 注意： 这 阅读全文
posted @ 2019-03-12 15:47 牧梦者 阅读(13742) 评论(2) 推荐(1)