2019年7月20日
DataStream API介绍和示例
摘要： DataStream API介绍和示例 Flink程序运行流程 1. 获取执行环境 getExecutionEnvironment() createLocalEnvironment() createRemoteEnvironment(String host, int port, String... 阅读全文
posted @ 2019-07-20 14:53 麻辣小虾 阅读(3639) 评论(0) 推荐(0)
Apache Flink 简单介绍和入门
摘要： What Apache Flink Apache Flink 是一个==分布式大数据处理引擎==，可对==有限数据流和无限数据流==进行==有状态计算==。可部署在==各种集群环境==，对各种大小的数据规模进行快速计算。 分布式大数据处理引擎 是一个分布式的、高可用的用于大数据处理的计算引擎 有限流 阅读全文
posted @ 2019-07-20 14:52 麻辣小虾 阅读(1170) 评论(0) 推荐(0)
2018年9月18日
Hbase 表设计和高级属性
摘要： 1、compression 默认值是 NONE 即不使用压缩， 这个参数意思是该列族是否采用压缩，采用什么压缩算 法 方法: create 'table',{NAME=>'info',COMPRESSION=>'SNAPPY'} 建议采用 SNAPPY 压缩算法 ， HBase 中，在 Snappy 阅读全文
posted @ 2018-09-18 15:02 麻辣小虾 阅读(4783) 评论(0) 推荐(0)
hbase基础shell操作
摘要： 一 基础理论 Hbase是一个非分布式的，面向列的开源数据库 基于BigTable 非结构化 存储在HDFS上，备份机制 线性扩展 cluster / slave Hmaster Regionserver Hbase架构图： 组件功能： Hbase数据模型： NameSpace Rowkey fam 阅读全文
posted @ 2018-09-18 14:57 麻辣小虾 阅读(10768) 评论(0) 推荐(0)
Flume+Kafka+SparkStreaming+Hbase+可视化（四）---未全部完成
摘要： 打通实时数据处理 1）.流程图 LoggerGenerator <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7InRleHQtaW5kZW50IjoxLCJhbGlnb 阅读全文
posted @ 2018-09-18 14:45 麻辣小虾 阅读(1347) 评论(0) 推荐(0)
Flume+Kafka+SparkStreaming+Hbase+可视化（三）
摘要： SparkStreaming 1）.概述：可扩展、高可用、容错性 一站式解决方案 2）.原理 粗粒度：Spark Streaming 接受实时流数据，将数据切分为批次数据，交由Spark Engine处理数据。组RDD，微批处理。 细粒度： 3）.核心 StreamingContext： start 阅读全文
posted @ 2018-09-18 14:39 麻辣小虾 阅读(852) 评论(0) 推荐(0)
Hbase 基础API
摘要： 本文参考：https://www.cnblogs.com/skyl/p/4803738.html 阅读全文
posted @ 2018-09-18 14:32 麻辣小虾 阅读(528) 评论(0) 推荐(0)
2018年7月31日
HBase原理和设计
摘要： 转载自：http://www.sysdb.cn/index.php/2016/01/10/hbase_principle/ ，感谢原作者。 <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R 阅读全文
posted @ 2018-07-31 14:32 麻辣小虾 阅读(86) 评论(0) 推荐(0)
2018年7月30日
SparkStreaming整合Kafka（Offset保存在Hbase上，Spark2.X + kafka0.10.X）
摘要： 继续SparkStreaming整合Kafka 其实将offset保存在zookeeper上不适用于高并发的情况的，于是乎，借鉴上次的代码。将offset保存在Hbasea上的方法也大概写了一下，暂时运行起来是没有问题的。 直接上代码（代码比较粗糙，但是思路应该还算清晰）： 相比较上次的坑倒是没有很 阅读全文
posted @ 2018-07-30 17:58 麻辣小虾 阅读(2086) 评论(2) 推荐(1)
2018年7月27日
SparkStreaming整合Kafka（Offset保存在zookeeper上，Spark2.X + kafka0.10.X）
摘要： 先来一段到处都有的原理（出处到处都有，就不注明了） Streaming和Kafka整合有两种方式--Receiver和Direct，简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver: 1、Kafka 阅读全文
posted @ 2018-07-27 10:44 麻辣小虾 阅读(5770) 评论(15) 推荐(0)
下一页