摘要： 一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE 阅读全文

摘要： 一、ClickHouse链接Kafka ### ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性： ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式： Kafka(k 阅读全文

摘要： 一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式： ~~~ MySQL('host:port', 'database', 'table', 'user', 'passwor 阅读全文

摘要： 一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎，但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、MergeTree家族表引擎：CollapsingMergeTree ### CollapsingMergeTree ~~~ # 以增代删： ~~~ 说明： yandex官方给出的介绍是CollapsingMergeTree 会异步的删除（折叠） ~~~ 这些除了特定列 Sign 有 1 和 - 阅读全文

摘要： 一、MergeTree家族表引擎：AggregateMergeTree ### AggregateMergeTree ~~~ 说明： 该引擎继承自 MergeTree，并改变了数据片段的合并逻辑。 ~~~ ClickHouse 会将相同主键的所有行（在一个数据片段内）替换为单个存储一系列聚合函数状态 阅读全文

摘要： 一、MergeTree家族表引擎：SummingMergeTree ### SummingMergeTree ~~~ 该引擎继承自 MergeTree。区别在于，当合并 SummingMergeTree 表的数据片段时， ~~~ ClickHouse 会把所有具有相同聚合数据的条件Key的行合并为一 阅读全文

摘要： 一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行 阅读全文

摘要： 一、MergeTree家族表引擎：MergeTree家族表引擎 ### ReplacingMergeTree ~~~ 这个引擎是在 MergeTree 的基础上，添加了“处理重复数据”的功能， ~~~ 该引擎和MergeTree的不同之处在于它会删除具有相同主键的重复项。 ### 特点： ~~~ 使 阅读全文

摘要： 一、MergeTree存储策略配置 ### 整体配置：配置mergetree存储配置方案 ~~~ # 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 阅读全文

摘要： 一、JBOD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行：</y 阅读全文

摘要： 一、数据标记 ### 数据标记 ~~~ .mrk文件 ~~~ 将以及索引primary.idx和数据文件.bin建立映射关系 ### 通用用hits_v1表说明： ~~~ 数据标记和索引区间是对齐的，根据索引区间的下标编号， ~~~ 就能找到数据标记 索引编号和数据标记数值相同 ~~~ 每一个[Co 阅读全文

摘要： 一、MergTree的TTL ### MergTree的TTL ~~~ TTL：time to live 数据存活时间。TTL既可以设置在表上，也可以设置在列上。 ~~~ TTL指定的时间到期后则删除相应的表或列，如果同时设置了TTL，则根据先过期时间删除相应数据。 ### 用法： ~~~ TTL 阅读全文

摘要： 一、ClickHouse表引擎&MergeTree数据分区 ### 数据分区 ~~~ 数据是以分区目录的形式组织的，每个分区独立分开存储。 ~~~ 这种形式，查询数据时，可以有效的跳过无用的数据文件。 ~~~ 数据分区的规则分区键的取值生成分区ID分区根据ID决定。 ~~~ 根据分区键的数据类型不同 阅读全文

摘要： 一、索引：一级索引 ### 一级索引 ~~~ 文件：primary.idx ~~~ MergeTree的主键使用Primary Key定义，主键定义之后， ~~~ MergeTree会根据index_granularity间隔(默认8192)为数据生成一级索引并保存至primary.idx文件中。 阅读全文

摘要： 一、数据存储 ### 数据存储 ~~~ 表由按主键排序的数据 片段 组成。 ~~~ 当数据被插入到表中时，会分成数据片段并按主键的字典序排序。 ~~~ 例如，主键是 (CounterID, Date) 时，片段中数据按 CounterID 排序， ~~~ 具有相同 CounterID 的部分按 Da 阅读全文

摘要： 一、MergeTree ### MergeTree ~~~ Clickhouse 中最强大的表引擎当属 MergeTree （合并树） ~~~ 引擎及该系列（*MergeTree）中的其他引擎。 ~~~ MergeTree 引擎系列的基本理念如下。 ~~~ 当你有巨量数据要插入到表中，你要高效地一批 阅读全文

摘要： 一、数据类型 ### 数据类型说明 ~~~ 支持DML， ~~~ 为了提高性能，较传统数据库而言，clickhouse提供了复合数据类型。 ~~~ ClickHouse的Upadate和Delete是由Alter变种实现。 二、整型 ### 整形说明 ~~~ 固定长度的整型，包括有符号整型或无符号整 阅读全文

摘要： 一、表引擎 ### 表引擎（即表的类型）决定了： ~~~ 数据的存储方式和位置，写到哪里以及从哪里读取数据 ~~~ 支持哪些查询以及如何支持。 ~~~ 并发数据访问。 ~~~ 索引的使用（如果存在）。 ~~~ 是否可以执行多线程请求。 ~~~ 数据复制参数。 ~~~ # ClickHouse的表引擎 阅读全文

摘要： 一、ClickHouse下载 ### 下载地址 ~~~ 官网：https://clickhouse.yandex/ ~~~ 下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式：h 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、ClickHouse概述 ### ClickHouse概述 ~~~ ClickHouse是一个快速开源的OLAP数据库管理系统，它是面向列的， ~~~ 允许使用SQL查询实时生成分析报告。 ~~~ 随着物联网IOT时代的来临，IOT设备感知和报警存储的数据越来越大， ~~~ 有用的价值数据需要数 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、作业提交 ### Flink的jar文件并不是Flink集群的可执行文件，需要经过转换之后提交给集群转换过程： ~~~ 在Flink Client中，通过反射启动jar中的main函数， ~~~ 生成Flink StreamGraph和JobGraph。将JobGraph提交给Flink集群。 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、FlinkSQL输出表：输出到Kafka ### 输出到kafka ~~~ # 往kafka上输出表 DataStreamSource<String> data = env.addSource(new SourceFunction<String> () { @Override public vo 阅读全文

摘要： 一、输出表：输出到文件 ### 输出到文件： tEnv.connect(new FileSystem().path("E:\\data\\out.txt")) .withFormat(new Csv()) .withSchema(new Schema().field("name",DataTypes 阅读全文

摘要： 一、FlinkSQL：查询数据 ### Table API ~~~ 官网：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.htmlselect/filter/as Table filter 阅读全文

摘要： 一、外部链接：Connectors Name VersIon Maven dependency SQL CIIentJAR Filesystem Built-in Built-in Elasticsearch 6 flink-connector-elasticsearch6 Download Ela 阅读全文

摘要： 一、FlinkSQL ### 什么是 Table API 和 Flink SQL ~~~ Flink 本身是批流统一的处理框架，所以 Table API 和 SQL，就是批流统一的上层处理 API。 ~~~ Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API，它允许我们 阅读全文

摘要： 一、CEP案例：超时未支付 ### CEP案例：超时未支付 ~~~ 案例3：超时未支付 ~~~ 需求：找出下单后10分钟没有支付的订单 二、实现思路： ### 1、数据源： new PayEvent(1L, "create", 1597905234000L), new PayEvent(1L, "p 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Flink CEP开发流程 ### Flink CEP 开发流程： ~~~ DataSource 中的数据转换为 DataStream；watermark、keyby ~~~ 定义 Pattern，并将 DataStream 和 Pattern 组合转换为 PatternStream； ~~~ 阅读全文

摘要： 一、CEP案例：检测交易活跃用户 ### 案例说明 ~~~ 案例2：检测交易活跃用户 ~~~ 需求：找出24小时内，至少5次有效交易的用户： 二、思路： ### 数据源： new ActiveUserBean("100XX", 0.0D, 1597905234000L), new ActiveUse 阅读全文

摘要： 一、Pattern API ### PatternAPI ~~~ 处理事件的规则，被叫作模式（Pattern）。 ~~~ Flink CEP提供了Pattern API用于对输入流数据进行复杂事件规则定义， ~~~ 用来提取符合规则的事件序列。 二、模式大致分为三类： ### 个体模式（Indivi 阅读全文

摘要： 一、NFA：非确定有限自动机 ### NFA：非确定有限自动机 ~~~ FlinkCEP在运行时会将用户的逻辑转化成这样的一个NFA Graph (nfa对象) ~~~ 所以有限状态机的工作过程，就是从开始状态，根据不同的输入，自动进行状态转换的过程。 ~~~ 上图中的状态机的功能，是检测二进制数是 阅读全文

摘要： 一、Flink kafka Producer ### 代码执行流程 ~~~ nc ~~~ 代码接受nc ~~~ 把接收到的nc的数据，给到kafka flink kafka producer 二、编程代码 ### 编程代码 package com.yanqi.flink; import org.ap 阅读全文