上一页 1 2 3 4 5 6 ··· 19 下一页
2021年12月11日
一 clickhouse-简介
摘要： ClickHouse是俄罗斯的Yandex于2016年开源的一个用于联机分析(OLAP:Online Analytical Processing)的列式数据库管理系统(DBMS:Database Management System) , 主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生 阅读全文
posted @ 2021-12-11 17:29 花未全开*月未圆 阅读(392) 评论(0) 推荐(0)
二 clickhouse-部署
摘要： ClickHouse支持运行在主流64位CPU架构（X86、AArch和 PowerPC）的Linux操作系统之上，可以通过源码编译、预编译压缩包、Docker镜像和RPM等多种方法进行安装。 1 单节点部署 1) 信息步骤 安装curl工具 yum install -y curl 添加clickh 阅读全文
posted @ 2021-12-11 17:17 花未全开*月未圆 阅读(327) 评论(0) 推荐(1)
2021年1月25日
简要了解数仓
摘要： 1. 什么是数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 2. 数据仓库能干 阅读全文
posted @ 2021-01-25 11:27 花未全开*月未圆 阅读(675) 评论(0) 推荐(0)
2021年1月20日
智慧城市公交大数据中心项目资料投标、运维、验收文档（方案）。（非个人公司文档）
摘要： 某年某日某天，突然被安排写竞标书，投标书。 收集各大网络，整理出来的参考模板。 （整理不易，好好珍惜） 附 链接 阅读全文
posted @ 2021-01-20 14:50 花未全开*月未圆 阅读(386) 评论(3) 推荐(0)
2020年9月20日
大数据组件性能调优文档整理（集群、HDFS、Hive)
摘要： 12.1 配置原则 如何发挥集群最佳性能 原则1：CPU核数分配原则 数据节点：建议预留2～4个核给OS和其他进程(数据库，HBase等)外，其他的核分配给YARN。 控制节点：由于运行的进程较多，建议预留6～8个核。 原则2：内存分配 除了分配给OS、其他服务的内存外，剩余的资源应尽量分配给YAR 阅读全文
posted @ 2020-09-20 13:39 花未全开*月未圆 阅读(1643) 评论(0) 推荐(0)
Table API 和 Flink SQL—第五章 函数（Functions）
摘要： Flink Table 和 SQL 内置了很多 SQL 中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。 5.1 系统内置函数 Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数。SQL 中支持的很多函数，Table API 和 SQL 阅读全文
posted @ 2020-09-20 12:46 花未全开*月未圆 阅读(1449) 评论(0) 推荐(0)
Table API 和 Flink SQL—第四章 窗口（Windows）
摘要： 时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看 Table API 和 SQL 中，怎么利用时间字段做窗口操作。 在 Table API 和 SQL 中，主要有两种窗口：Group Windows 和 Over Windows 4.1 分组窗 阅读全文
posted @ 2020-09-20 12:36 花未全开*月未圆 阅读(1762) 评论(0) 推荐(0)
Table API 和 Flink SQL—第二章 API 调用
摘要： 2.1 基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构类似；也可以近似地认为有这么几步：首先创建执行环境，然后定义 source、transform 和 sink。 具体操作流程如下： val tableEnv = ... // 创建表的执行环境 // 创建一张表，用 阅读全文
posted @ 2020-09-20 12:12 花未全开*月未圆 阅读(662) 评论(0) 推荐(0)
Table API 和 Flink SQL—第一章 整体介绍
摘要： 第一章 整体介绍1.1 什么是 Table API 和 Flink SQLFlink 本身是批流统一的处理框架，所以 Table API 和 SQL，就是批流统一的上层处理 API。目前功能尚未完善，处于活跃的开发阶段。Table API 是一套内嵌在 Java 和 Scala 语言中的查询 API 阅读全文
posted @ 2020-09-20 11:54 花未全开*月未圆 阅读(243) 评论(0) 推荐(0)
Storm—Storm分组策略和并发度
摘要： 五 分组策略和并发度 5.1 读取文件案例思考 1）spout数据源：数据库、文件、MQ（比如：Kafka） 2）数据源是数据库：只适合读取数据库的配置文件 3）数据源是文件：只适合测试、讲课用（因为集群是分布式集群） 4）企业产生的log文件处理步骤： （1）读出内容写入MQ （2）Storm再处 阅读全文
posted @ 2020-09-20 10:59 花未全开*月未圆 阅读(372) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 ··· 19 下一页