摘要: clickhouse 集群安装部署文档 一、环境准备 CentOS系统三台测试机 Host: 192.168.2.211、 192.168.2.212、 192.168.2.213 二、RPM安装包安装 # 前提需要zookeeper环境,如没有需要安装(因为之前就有,所以就讲解如何搭建kafka集 阅读全文
posted @ 2022-03-10 18:31 于二黑 阅读(859) 评论(0) 推荐(1) 编辑
摘要: Ambari2.7.4集成Kylin3.0 1.准备工作 1.组件 Ambari 2.7.4 HDP 3.1.4 Kylin apache-kylin-3.0.1-bin-hadoop3.tar.gz nginx 1.8.1 hdp-3.0-kylin-2.6.0 2. 安装包自取百度云 链接:ht 阅读全文
posted @ 2022-02-25 17:22 于二黑 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 1.修改spark配置: Advanced spark2-defaults spark.sql.warehouse.dir 值/apps/spark/warehouse 改为hive数据存储hdfs位置:/user/hive/warehouse Advanced spark2-hive-site-o 阅读全文
posted @ 2022-02-25 16:59 于二黑 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 源码位置: .timeWindow(Time.milliseconds(1000L)) timeWindow() def timeWindow(size: Time): WindowedStream[T, K, TimeWindow] = { new WindowedStream(javaStrea 阅读全文
posted @ 2022-01-10 23:25 于二黑 阅读(86) 评论(0) 推荐(0) 编辑
摘要: GitHub地址:https://github.com/didi/LogiKM 下载安装包 https://github.com/didi/LogiKM/releases 解压安装包 tar -zxvf kafka-manager-2.4.2.tar.gz 创建数据库 打开解压好的包可以看到 cre 阅读全文
posted @ 2021-11-22 13:55 于二黑 阅读(514) 评论(0) 推荐(0) 编辑
摘要: Ambari2.7.4集成Kylin3.0 1.准备工作 1.组件 Ambari 2.7.4 HDP 3.1.4 Kylin apache-kylin-3.0.1-bin-hadoop3.tar.gz nginx 1.8.1 hdp-3.0-kylin-2.6.0 2. 安装包自取百度云 链接:ht 阅读全文
posted @ 2021-07-27 23:32 于二黑 阅读(270) 评论(0) 推荐(0) 编辑
摘要: 1.修改spark配置: Advanced spark2-defaults spark.sql.warehouse.dir 值/apps/spark/warehouse 改为hive数据存储hdfs位置:/user/hive/warehouse Advanced spark2-hive-site-o 阅读全文
posted @ 2021-07-27 23:30 于二黑 阅读(434) 评论(0) 推荐(0) 编辑
摘要: 记一次 sqoop同步mysql到hive 执行太慢 背景: Ambari2.7.4管理的HDP3.1.4版本。 查看yarn日志,发现有报错,但是程序还是执行完成了, 报错内容如下: 2021-04-14 17:29:40,131 ERROR [Job ATS Event Dispatcher] 阅读全文
posted @ 2021-07-27 23:29 于二黑 阅读(682) 评论(0) 推荐(0) 编辑
摘要: == ### 一、原因分析 是因为hive的元数据编码问题,hive的元数据一般存储在mysql数据库,数据库名:hive ### 二、解决 ``` 1. 进入hive库 use hive; 2.修改配置 alter table COLUMNS_V2 modify column COMMENT va 阅读全文
posted @ 2021-07-27 23:27 于二黑 阅读(395) 评论(0) 推荐(0) 编辑
摘要: //给单个字段创建二级索引 create index pushOrderTime_IDX on "new_push_order_tb"("pushOrderTime"); //给多个字段创建二级索引 CREATE INDEX ALL_INDEX ON "new_push_order_tb"("dri 阅读全文
posted @ 2020-12-27 01:09 于二黑 阅读(271) 评论(0) 推荐(0) 编辑