摘要：
####1.时间语义 Flink是一个实时计算引擎，谈到实时概念，就必然会设计到时间概念。Flink的时间语义是保证实时及实时数据处理的一致性，及时性。Flink时间语义分为下面三种 ######Event Time:事件创建时间 ######Ingestion Time:事件摄入时间(数据进入Fl 阅读全文
摘要：
####CDC介绍 CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 #####CDC种类 ######基于查询的 阅读全文
摘要：
###1. 写在前面 之前零散的写了一些spark在某一块的性能优化，比如sparkstreaming的性能优化，参数优化，sparkSQL的优化。本篇博文针对spark一些基本的核心优化做一个介绍分享，当然这里的介绍适合rdd,sparkstreaming,sparkSQL等。当然个人认为不管什么 阅读全文
摘要：
####1.数据仓库及数仓中的数据模型及操作描述 在大数据设计与开发过程中，数据仓库是必不可少的一部分。但很多开发者将数仓理解为很多业务库和业务表的汇总集合，这是不全面的。数仓存在很多设计，架构，业务建模等多个维度的问题。关于数仓的大体介绍可以参照之前的文章(https://www.cnblogs. 阅读全文
摘要：
####1.hive窗口函数语法 提到Hive SQL的窗口函数，很多开发者就想到row_number() over()或者rank() over()。甚至许多开发者包括之前本人也觉得row_number()，rank()就是最常用的窗口函数。其实这个理解是错误的。hive的窗口函数其实只有一个就是 阅读全文
摘要：
####1.flink CEP描述 CEP(Complex Event Processing)就是在无界事件流中检测事件模式，使能够掌握数据中重要的部分。 ####2.flink CEP编程的四个步骤 1>.输入数据流的创建 2>.模式(Pattern)定义 3>.Pattern应用在事件流上的检测 阅读全文
摘要：
####1.Spark JVM参数优化设置 Spark JVM的参数优化设置适用于Spark的所有模块，包括SparkSQL、SparkStreaming、SparkRdd及SparkML，主要设置以下几个值： spark.yarn.driver.memoryOverhead #driver端最大的 阅读全文
摘要：
####1.说明 druid支持获取数据种类较多，包括本地离线数据，hdfs数据和kafka实时流数据。在实际基于hadoop生态系统的大数据开发应用中，获取hdfs数据和kafka流式数据较为常见。本篇文档着重说明获取kafka和hdfs数据的实例。 想要获取什么样类型的数据，就需要在配置文件配置 阅读全文
摘要：
####1.节点服务规划 master:coordinator,overlord slave1:historical,middle_manager slave2:router,broker ####2.下载安装包解压 从druid官网(https://druid.apache.org/downloa 阅读全文
摘要：
###1.服务器信息 192.168.195.136 master 192.168.195.137 slave1 192.168.195.139 slave2 ###2.主要配置 ####第一步 上传es安装包到master节点的指定的目录，这里安装版本是elasticsearch-5.3.3 解压 阅读全文