摘要：
一些实用的运维及甩锅小技巧 阅读全文
posted @ 2022-08-29 10:57
风灵动铭
阅读(931)
评论(0)
推荐(0)
摘要：
NameNode格式化——组件恢复，数据丢失 前情提要过程记录准备工作停止HDFS进程删除数据删除日志和临时目录启动JournalNode服务 格式化HDFS执行NameNode格式化恢复Standby NameNode启动Standby NameNode 恢复依赖服务 小结 前情提要 近段时间测试 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(617)
评论(0)
推荐(0)
摘要：
Grafana Loki日志采集初探 1. 基本介绍1.1 工作概述1.2 基本特性1.3 架构介绍1.3.1 多租户设计1.3.2 工作模式1.3.2.1 Monolithic mode1.3.2.2 Simple scalable deployment mode1.3.2.3 Microserv 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(1241)
评论(0)
推荐(0)
摘要：
Loki配置采集haproxy日志 前言正文haproxy格式化日志Loki配置日志采集 结语 前言 haproxy作为一个负载均衡器，能够有效的分摊应用的访问负载，一定程度上帮助应用避免单点风险，有时候，会有从haproxy日志中分析数据的需求。 当前的一个环境中，通过haproxy作为后端查询接 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(973)
评论(2)
推荐(0)
摘要：
Ambari集成Prometheus-打包软件 目录结构bin目录conf目录sbin目录环境设置脚本prometheus-env.sh启动脚本prometheus.sh SPEC文件编写 目录结构 集成自定义的服务，首先要准备好服务的rpm安装包，Prometheus官方本身发布的就是开箱即用的二 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(294)
评论(0)
推荐(0)
摘要：
记一次使用SQOOP抽数到Hive遇到的问题 前置条件 1.源端数据库类型为Mysql 2.目标端是Hive库，beeline为1.1.0 3.Hive建表时使用了分桶，并且加入了stored as orc参数，之前这么创建是为了能够实现delete等操作 处理过程 最初想要在Sqoop中使用hca 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(588)
评论(0)
推荐(0)
摘要：
删了HDFS又能怎样？记一次删库不跑路事件[转]） 一、事发背景二、应急措施直观的方案 三、分析过程hdfs文件删除过程EditLog hdfs元数据的加载方案确定 四、灾难重演反解析更改后的xml文件成editlog重命名掉之前的editlog替换反解析后的editlog 五、经验总结 一、事发背 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(369)
评论(0)
推荐(0)
摘要：
HUE编译打包 环境准备编译安装安装依赖安装Python3 开始编译node安装SQLite3版本过低 环境准备 python3环境(非必须)githue源码包 编译安装 安装依赖 根据官方的建议命令进行依赖的安装 yum -y install libffi-devel gcc-c++ ant as 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(547)
评论(0)
推荐(0)
摘要：
Yarn跟踪容器内存的开关 前言正文版本问题拓展知识 结语 前言 之前使用的YARN环境，在查看NodeManger日志的时候能够看到容器内存使用情况的信息，类似这样的日志： 2022-01-13 09:51:49,585 INFO org.apache.hadoop.yarn.server.nod 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(166)
评论(0)
推荐(0)
摘要：
PG12数据库更改数据目录 修改启动文件重载服务配置初始化数据库 修改启动文件 此处默认使用RPM包将PG安装完成，默认会在/usr/lib/systemd/system/下创建一个postgresql.service文件，文件内容如下： # It's not recommended to modi 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(259)
评论(0)
推荐(0)
浙公网安备 33010602011771号