随笔分类 -  大数据集群运维

Iceberg治理服务Amoro---配置Prometheus + Grafana看板
摘要：一、基础资料 1、mac安装Prometheus + Grafana https://www.cnblogs.com/robots2/p/18689540 2、配置文档 https://amoro.apache.org/docs/0.7.1/deployment/#configure-metric- 阅读全文
posted @ 2025-01-24 16:53 Robots2 阅读(101) 评论(0) 推荐(0)
Mac安装Prometheus + Grafana
摘要：一、安装Prometheus 1、下载安装 brew install prometheus 2、安装路径 /opt/homebrew/Cellar/prometheus/3.1.0 3、修改配置文件 默认配置文件路径：/opt/homebrew/etc/prometheus.yml global: 阅读全文
posted @ 2025-01-24 15:06 Robots2 阅读(362) 评论(0) 推荐(0)
EMR集群信息查看-Hive
摘要：一、日志 1、hivemetastore日志 简介：查看运行情况，其它组件会通过hivemetastore获取表信息 tail -f /data/emr/hive/logs/hadoop-hivemetastore 二、连接 1、登录hive客户端（指定hivemetastore地址） hive - 阅读全文
posted @ 2024-05-13 18:38 Robots2 阅读(53) 评论(0) 推荐(0)
Spark Sql调优
摘要：一、任务调参 1.1 spark.executor.memory executor执行分配的内存大小 1.2 spark.executor.cores executor执行分配的核数 1.3 spark.executor.instances 需要的executor个数，等同num-executors 阅读全文
posted @ 2021-12-22 13:51 Robots2 阅读(1222) 评论(0) 推荐(0)
Linux常用命令总结
摘要：一、常用指令 1、Vim （1）命令行模式 :wq 保存退出 :q! 不保留强制退出控制台 :q 退出控制台 u 恢复上一次操作 set nu 列出行号 :5 跳到第5行 /搜索内容 n搜索下一个 1$ 移动到当前行行尾 0 移动到当前行行首 （2）插入模式 i 开始编辑,从当前位置输入文字 a 开 阅读全文
posted @ 2021-08-05 17:37 Robots2 阅读(171) 评论(0) 推荐(0)