民宿

摘要： 前言 项目早期、数据（报表分析）的生产、存储和获取业务，MySQL基本上可以满足需要，但是随着业务的快速增长，数据量翻至亿为单位时，MySQL无法满足例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。记得还是2017年之后，对当时的几款OLAP进行了调研，用线上数据训练。当时Druid在性 阅读全文

摘要： impala查询hive报错 [09/Aug/2021 00:45:10 -0700] decorators ERROR Error running check_status Traceback (most recent call last): File "/opt/cloudera/parcels 阅读全文

摘要： 一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表 由于sqoop从关系型数据直接以parquet格式导入hive会有问题，这里默认hive的表都是text格式；每次导完到临时表，需要做invalidate metadata 表 阅读全文

摘要： This page summarizes the steps to install Hadoop 3.0.0 on your Windows environment. Reference page: https://wiki.apache.org/hadoop/Hadoop2OnWindows ht 阅读全文

摘要： 使用Flink版本1.10.1 启动命令 flink run -m yarn-cluster -yd -ynm DTSLauncher -yjm 1024m -ytm 2048m -yn 3 -ys 1 -c com.br.dts.stream.launcher.DTSLauncher /data/ 阅读全文

摘要： ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar -d,--detached：设置在后台运行。 -yjm,--jobManagerMemory<arg>:设置 JobManager 的内存，单位是 MB。 -ytm，--ta 阅读全文

摘要： 安装HDFS后，报了一个隐患 9 DataNodes are required for the erasure coding policies: RS-6-3-1024k. The number of DataNodes is only 4. 这个隐患说的是：使用RS-6-3-1024k编码纠删码策 阅读全文

摘要： 一、背景 留存率：是用户分析的核心指标之一。它也是经典的AARRR模型（海盗模型）中就有一个重要节点——留存（Acquisition）。留存率的计算也是用户分析模型的计算基础，那么如何在数据库中用SQL实现呢？ 二、什么是留存率？ 常见的留存率有次日留存、三日留存、7日留存、14日留存、30日留存、 阅读全文

摘要： ETL和ELT是概念性词汇，可以是设计导向结论，也可以是结果导向结论。 E：Extract T：Transform L：Load 无论是ETL还是ELT本质都是以当前对象的行为决定的。 当前对象pull上游消息，就是E行为； 当前对象处理当前数据，就是T行为； 当前对象push消息到下游，就是L行为 阅读全文

摘要： 背景介绍 当前的数据报表服务采用定时离计算的方式构建数仓，但随着业务对实时性的要求变高，需要实现一套实时入库方案。 问题分析 对外提供服务的大宽表分基础表，事实表和统计表三类，事实表和纬度表都包含纬度信息。在实时流处理过程中，每来一条事实数据，用纬度id查询纬度数据，将纬度数据和事实数据写入具体的业 阅读全文