摘要：
在 Flink 实时任务开发中，RocksDB 作为主流的状态后端，其参数配置直接决定任务的读写性能、状态压缩效率、内存占用、稳定性。默认的 RocksDB 配置较为保守，无法适配大数据量、高吞吐的生产场景。 本文整理一套生产可用的flink-conf.yml RocksDB 优化配置，涵盖内存管控 阅读全文
posted @ 2026-05-26 10:20
shadowlyn
阅读(4)
评论(0)
推荐(0)
摘要：
clickhouse 集群安装部署文档 一、环境准备 CentOS系统三台测试机 Host： 192.168.2.211、 192.168.2.212、 192.168.2.213 二、RPM安装包安装 # 前提需要zookeeper环境，如没有需要安装(因为之前就有，所以就讲解如何搭建kafka集 阅读全文
posted @ 2022-03-10 18:31
shadowlyn
阅读(1212)
评论(0)
推荐(1)
摘要：
Ambari2.7.4集成Kylin3.0 1.准备工作 1.组件 Ambari 2.7.4 HDP 3.1.4 Kylin apache-kylin-3.0.1-bin-hadoop3.tar.gz nginx 1.8.1 hdp-3.0-kylin-2.6.0 2. 安装包自取百度云 链接：ht 阅读全文
posted @ 2022-02-25 17:22
shadowlyn
阅读(244)
评论(0)
推荐(0)
摘要：
1.修改spark配置： Advanced spark2-defaults spark.sql.warehouse.dir 值/apps/spark/warehouse 改为hive数据存储hdfs位置：/user/hive/warehouse Advanced spark2-hive-site-o 阅读全文
posted @ 2022-02-25 16:59
shadowlyn
阅读(366)
评论(0)
推荐(0)
摘要：
源码位置： .timeWindow(Time.milliseconds(1000L)) timeWindow() def timeWindow(size: Time): WindowedStream[T, K, TimeWindow] = { new WindowedStream(javaStrea 阅读全文
posted @ 2022-01-10 23:25
shadowlyn
阅读(122)
评论(0)
推荐(0)
摘要：
GitHub地址：https://github.com/didi/LogiKM 下载安装包 https://github.com/didi/LogiKM/releases 解压安装包 tar -zxvf kafka-manager-2.4.2.tar.gz 创建数据库 打开解压好的包可以看到 cre 阅读全文
posted @ 2021-11-22 13:55
shadowlyn
阅读(610)
评论(0)
推荐(0)
摘要：
Ambari2.7.4集成Kylin3.0 1.准备工作 1.组件 Ambari 2.7.4 HDP 3.1.4 Kylin apache-kylin-3.0.1-bin-hadoop3.tar.gz nginx 1.8.1 hdp-3.0-kylin-2.6.0 2. 安装包自取百度云 链接：ht 阅读全文
posted @ 2021-07-27 23:32
shadowlyn
阅读(322)
评论(0)
推荐(0)
摘要：
1.修改spark配置： Advanced spark2-defaults spark.sql.warehouse.dir 值/apps/spark/warehouse 改为hive数据存储hdfs位置：/user/hive/warehouse Advanced spark2-hive-site-o 阅读全文
posted @ 2021-07-27 23:30
shadowlyn
阅读(502)
评论(0)
推荐(0)
摘要：
记一次 sqoop同步mysql到hive 执行太慢 背景： Ambari2.7.4管理的HDP3.1.4版本。 查看yarn日志，发现有报错，但是程序还是执行完成了， 报错内容如下： 2021-04-14 17:29:40,131 ERROR [Job ATS Event Dispatcher] 阅读全文
posted @ 2021-07-27 23:29
shadowlyn
阅读(799)
评论(0)
推荐(0)
摘要：
== ### 一、原因分析 是因为hive的元数据编码问题，hive的元数据一般存储在mysql数据库，数据库名：hive ### 二、解决 ``` 1. 进入hive库 use hive; 2.修改配置 alter table COLUMNS_V2 modify column COMMENT va 阅读全文
posted @ 2021-07-27 23:27
shadowlyn
阅读(471)
评论(0)
推荐(0)
浙公网安备 33010602011771号