上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 69 下一页

2022年4月14日

|NO.Z.00023|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V04|——|ClickHouse.v04|ClickHouse:ClickHouse链接JDBC|

摘要: 一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接,CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE 阅读全文

posted @ 2022-04-14 14:06 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00022|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V03|——|ClickHouse.v03|ClickHouse:ClickHouse链接kafka|

摘要: 一、ClickHouse链接Kafka ### ClickHouse链接Kafka:此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性: ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式: Kafka(k 阅读全文

posted @ 2022-04-14 14:05 yanqi_vip 阅读(45) 评论(0) 推荐(0)

2022年4月13日

|NO.Z.00021|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V02|——|ClickHouse.v02|ClickHouse:ClickHouse链接MySQL|

摘要: 一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式: ~~~ MySQL('host:port', 'database', 'table', 'user', 'passwor 阅读全文

posted @ 2022-04-13 15:42 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00020|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V01|——|ClickHouse.v01|ClickHouse:ClickHouse链接HDFS|

摘要: 一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎,但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。 阅读全文

posted @ 2022-04-13 15:41 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:41 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V15|——|ClickHouse.v15|MergeTree家族表引擎|CollapsingMergeTree|

摘要: 一、MergeTree家族表引擎:CollapsingMergeTree ### CollapsingMergeTree ~~~ # 以增代删: ~~~ 说明: yandex官方给出的介绍是CollapsingMergeTree 会异步的删除(折叠) ~~~ 这些除了特定列 Sign 有 1 和 - 阅读全文

posted @ 2022-04-13 15:40 yanqi_vip 阅读(53) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V14|——|ClickHouse.v14|MergeTree家族表引擎|AggregateMergeTree|

摘要: 一、MergeTree家族表引擎:AggregateMergeTree ### AggregateMergeTree ~~~ 说明: 该引擎继承自 MergeTree,并改变了数据片段的合并逻辑。 ~~~ ClickHouse 会将相同主键的所有行(在一个数据片段内)替换为单个存储一系列聚合函数状态 阅读全文

posted @ 2022-04-13 15:39 yanqi_vip 阅读(58) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V13|——|ClickHouse.v13|MergeTree家族表引擎|SummingMergeTree|

摘要: 一、MergeTree家族表引擎:SummingMergeTree ### SummingMergeTree ~~~ 该引擎继承自 MergeTree。区别在于,当合并 SummingMergeTree 表的数据片段时, ~~~ ClickHouse 会把所有具有相同聚合数据的条件Key的行合并为一 阅读全文

posted @ 2022-04-13 15:38 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00014|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V11|——|ClickHouse.v11|表引擎|MergeTree|存储策略|HOT/COLD策略|

摘要: 一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行 阅读全文

posted @ 2022-04-13 15:37 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V12|——|ClickHouse.v12|MergeTree家族表引擎|ReplacingMergeTree|

摘要: 一、MergeTree家族表引擎:MergeTree家族表引擎 ### ReplacingMergeTree ~~~ 这个引擎是在 MergeTree 的基础上,添加了“处理重复数据”的功能, ~~~ 该引擎和MergeTree的不同之处在于它会删除具有相同主键的重复项。 ### 特点: ~~~ 使 阅读全文

posted @ 2022-04-13 15:37 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00012|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V09|——|ClickHouse.v09|表引擎|MergeTree|存储策略|默认策略|

摘要: 一、MergeTree存储策略配置 ### 整体配置:配置mergetree存储配置方案 ~~~ # 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 阅读全文

posted @ 2022-04-13 15:36 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00013|——————————|^^ 配置 ^^|——|Hadoop&OLAP_ClickHouse.V10|——|ClickHouse.v10|表引擎|MergeTree|MergeTree|存储策略|JBOC策略|

摘要: 一、JBOD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行:</y 阅读全文

posted @ 2022-04-13 15:36 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V07|——|ClickHouse.v07|表引擎|MergeTree|数据标记|分区/索引/标记|压缩协同|

摘要: 一、数据标记 ### 数据标记 ~~~ .mrk文件 ~~~ 将以及索引primary.idx和数据文件.bin建立映射关系 ### 通用用hits_v1表说明: ~~~ 数据标记和索引区间是对齐的,根据索引区间的下标编号, ~~~ 就能找到数据标记 索引编号和数据标记数值相同 ~~~ 每一个[Co 阅读全文

posted @ 2022-04-13 15:35 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V08|——|ClickHouse.v08|表引擎|MergeTree|MergTreeTTL|

摘要: 一、MergTree的TTL ### MergTree的TTL ~~~ TTL:time to live 数据存活时间。TTL既可以设置在表上,也可以设置在列上。 ~~~ TTL指定的时间到期后则删除相应的表或列,如果同时设置了TTL,则根据先过期时间删除相应数据。 ### 用法: ~~~ TTL 阅读全文

posted @ 2022-04-13 15:35 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V04|——|ClickHouse.v04|表引擎|MergeTree|数据分区|

摘要: 一、ClickHouse表引擎&MergeTree数据分区 ### 数据分区 ~~~ 数据是以分区目录的形式组织的,每个分区独立分开存储。 ~~~ 这种形式,查询数据时,可以有效的跳过无用的数据文件。 ~~~ 数据分区的规则分区键的取值生成分区ID分区根据ID决定。 ~~~ 根据分区键的数据类型不同 阅读全文

posted @ 2022-04-13 15:34 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V05|——|ClickHouse.v05|表引擎|MergeTree|索引|

摘要: 一、索引:一级索引 ### 一级索引 ~~~ 文件:primary.idx ~~~ MergeTree的主键使用Primary Key定义,主键定义之后, ~~~ MergeTree会根据index_granularity间隔(默认8192)为数据生成一级索引并保存至primary.idx文件中。 阅读全文

posted @ 2022-04-13 15:34 yanqi_vip 阅读(47) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V06|——|ClickHouse.v06|表引擎|MergeTree|数据存储|

摘要: 一、数据存储 ### 数据存储 ~~~ 表由按主键排序的数据 片段 组成。 ~~~ 当数据被插入到表中时,会分成数据片段并按主键的字典序排序。 ~~~ 例如,主键是 (CounterID, Date) 时,片段中数据按 CounterID 排序, ~~~ 具有相同 CounterID 的部分按 Da 阅读全文

posted @ 2022-04-13 15:34 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V03|——|ClickHouse.v03|表引擎|MergeTree|创建方式|存储结构|

摘要: 一、MergeTree ### MergeTree ~~~ Clickhouse 中最强大的表引擎当属 MergeTree (合并树) ~~~ 引擎及该系列(*MergeTree)中的其他引擎。 ~~~ MergeTree 引擎系列的基本理念如下。 ~~~ 当你有巨量数据要插入到表中,你要高效地一批 阅读全文

posted @ 2022-04-13 15:33 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00004|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V01|——|ClickHouse.v01|数据类型|

摘要: 一、数据类型 ### 数据类型说明 ~~~ 支持DML, ~~~ 为了提高性能,较传统数据库而言,clickhouse提供了复合数据类型。 ~~~ ClickHouse的Upadate和Delete是由Alter变种实现。 二、整型 ### 整形说明 ~~~ 固定长度的整型,包括有符号整型或无符号整 阅读全文

posted @ 2022-04-13 15:32 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V02|——|ClickHouse.v02|表引擎日志|Memory|Merge|

摘要: 一、表引擎 ### 表引擎(即表的类型)决定了: ~~~ 数据的存储方式和位置,写到哪里以及从哪里读取数据 ~~~ 支持哪些查询以及如何支持。 ~~~ 并发数据访问。 ~~~ 索引的使用(如果存在)。 ~~~ 是否可以执行多线程请求。 ~~~ 数据复制参数。 ~~~ # ClickHouse的表引擎 阅读全文

posted @ 2022-04-13 15:32 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.00002|——————————|^^ 部署 ^^|——|Hadoop&OLAP_ClickHouse.V02|——|ClickHouse.v02|单击模式&集群模式|

摘要: 一、ClickHouse下载 ### 下载地址 ~~~ 官网:https://clickhouse.yandex/ ~~~ 下载地址:http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式:h 阅读全文

posted @ 2022-04-13 15:31 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00003|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:31 yanqi_vip 阅读(5) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&OLAP_ClickHouse.V01|——|ClickHouse.v01|概述|

摘要: 一、ClickHouse概述 ### ClickHouse概述 ~~~ ClickHouse是一个快速开源的OLAP数据库管理系统,它是面向列的, ~~~ 允许使用SQL查询实时生成分析报告。 ~~~ 随着物联网IOT时代的来临,IOT设备感知和报警存储的数据越来越大, ~~~ 有用的价值数据需要数 阅读全文

posted @ 2022-04-13 15:30 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:30 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:29 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00068|——————————|BigDataEnd|——|Hadoop&Flink.V01|——|Flink.v01|Flink SQL|作业提交|

摘要: 一、作业提交 ### Flink的jar文件并不是Flink集群的可执行文件,需要经过转换之后提交给集群转换过程: ~~~ 在Flink Client中,通过反射启动jar中的main函数, ~~~ 生成Flink StreamGraph和JobGraph。将JobGraph提交给Flink集群。 阅读全文

posted @ 2022-04-13 15:28 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00067|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:28 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00069|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:28 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00066|——————————|BigDataEnd|——|Hadoop&Flink.V05|——|Flink.v04|Flink SQL|Flink SQL输出表|输出到kafka|

摘要: 一、FlinkSQL输出表:输出到Kafka ### 输出到kafka ~~~ # 往kafka上输出表 DataStreamSource<String> data = env.addSource(new SourceFunction<String> () { @Override public vo 阅读全文

posted @ 2022-04-13 15:27 yanqi_vip 阅读(167) 评论(0) 推荐(0)

|NO.Z.00065|——————————|BigDataEnd|——|Hadoop&Flink.V04|——|Flink.v04|Flink SQL|Flink SQL输出表|输出到文件|

摘要: 一、输出表:输出到文件 ### 输出到文件: tEnv.connect(new FileSystem().path("E:\\data\\out.txt")) .withFormat(new Csv()) .withSchema(new Schema().field("name",DataTypes 阅读全文

posted @ 2022-04-13 15:26 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00064|——————————|BigDataEnd|——|Hadoop&Flink.V03|——|Flink.v03|Flink SQL|Flink SQL查询数据|Table API|SQL|

摘要: 一、FlinkSQL:查询数据 ### Table API ~~~ 官网:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.htmlselect/filter/as Table filter 阅读全文

posted @ 2022-04-13 15:25 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00063|——————————|BigDataEnd|——|Hadoop&Flink.V02|——|Flink.v02|Flink SQL|Flink SQL外部链接|从文件获取数据流|从kafka中获取数据|

摘要: 一、外部链接:Connectors Name VersIon Maven dependency SQL CIIentJAR Filesystem Built-in Built-in Elasticsearch 6 flink-connector-elasticsearch6 Download Ela 阅读全文

posted @ 2022-04-13 15:24 yanqi_vip 阅读(73) 评论(0) 推荐(0)

|NO.Z.00062|——————————|BigDataEnd|——|Hadoop&Flink.V01|——|Flink.v01|Flink SQL|什么是Table API|Flink SQL|入门代码|

摘要: 一、FlinkSQL ### 什么是 Table API 和 Flink SQL ~~~ Flink 本身是批流统一的处理框架,所以 Table API 和 SQL,就是批流统一的上层处理 API。 ~~~ Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API,它允许我们 阅读全文

posted @ 2022-04-13 15:24 yanqi_vip 阅读(59) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——|Hadoop&Flink.V15|——|Flink.v15|Flink CEP|Flink CEP案例|超时未支付|

摘要: 一、CEP案例:超时未支付 ### CEP案例:超时未支付 ~~~ 案例3:超时未支付 ~~~ 需求:找出下单后10分钟没有支付的订单 二、实现思路: ### 1、数据源: new PayEvent(1L, "create", 1597905234000L), new PayEvent(1L, "p 阅读全文

posted @ 2022-04-13 15:23 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00061|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-13 15:23 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&Flink.V13|——|Flink.v13|Flink CEP|Flink CEP案例|恶意登录测试|

摘要: 一、Flink CEP开发流程 ### Flink CEP 开发流程: ~~~ DataSource 中的数据转换为 DataStream;watermark、keyby ~~~ 定义 Pattern,并将 DataStream 和 Pattern 组合转换为 PatternStream; ~~~ 阅读全文

posted @ 2022-04-13 15:22 yanqi_vip 阅读(47) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&Flink.V14|——|Flink.v14|Flink CEP|Flink CEP案例|检测交易|活跃用户|

摘要: 一、CEP案例:检测交易活跃用户 ### 案例说明 ~~~ 案例2:检测交易活跃用户 ~~~ 需求:找出24小时内,至少5次有效交易的用户: 二、思路: ### 数据源: new ActiveUserBean("100XX", 0.0D, 1597905234000L), new ActiveUse 阅读全文

posted @ 2022-04-13 15:22 yanqi_vip 阅读(64) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&Flink.V11|——|Flink.v11|Flink CEP|Flink CEP基础|个体模式|模式序列|模式检测|匹配事件提取|超时事件提取|

摘要: 一、Pattern API ### PatternAPI ~~~ 处理事件的规则,被叫作模式(Pattern)。 ~~~ Flink CEP提供了Pattern API用于对输入流数据进行复杂事件规则定义, ~~~ 用来提取符合规则的事件序列。 二、模式大致分为三类: ### 个体模式(Indivi 阅读全文

posted @ 2022-04-13 15:21 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&Flink.V12|——|Flink.v12|Flink CEP|NFA 非确定有限自动机|

摘要: 一、NFA:非确定有限自动机 ### NFA:非确定有限自动机 ~~~ FlinkCEP在运行时会将用户的逻辑转化成这样的一个NFA Graph (nfa对象) ~~~ 所以有限状态机的工作过程,就是从开始状态,根据不同的输入,自动进行状态转换的过程。 ~~~ 上图中的状态机的功能,是检测二进制数是 阅读全文

posted @ 2022-04-13 15:21 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&Flink.V09|——|Flink.v09|Flink Connector|kafka|Flink kafka Producer|

摘要: 一、Flink kafka Producer ### 代码执行流程 ~~~ nc ~~~ 代码接受nc ~~~ 把接收到的nc的数据,给到kafka flink kafka producer 二、编程代码 ### 编程代码 package com.yanqi.flink; import org.ap 阅读全文

posted @ 2022-04-13 15:20 yanqi_vip 阅读(18) 评论(0) 推荐(0)

上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 69 下一页

导航