摘要：
记一次由JN性能瓶颈导致的NN频繁宕机异常 前言正文问题排查Ambari页面NN日志排查GC日志排查JN日志排查复现准备 问题... 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(606)
评论(0)
推荐(0)
摘要：
前言 近日在生产环境我们要进行调度服务迁移，几天的夜间工作中，多次遇到一个业务逻辑导致的问题：在调度重启的过程中，会通过Yarn的资... 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(317)
评论(0)
推荐(0)
摘要：
用Python写一个Ambari的运维工具（一） 前言正文准备工作功能拆解库的使用 写代码咯配置文件加载建立交互终端好看的欢迎... 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(263)
评论(0)
推荐(0)
摘要：
JN回滚大量edit日志导致Namenode主备切换的故障记录 前言正文问题排查调度服务状态HDFS服务状态 问题分析Name... 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(582)
评论(0)
推荐(0)
摘要：
记一次使用SQOOP抽数到Hive遇到的问题 前置条件 1.源端数据库类型为Mysql 2.目标端是Hive库，beeline为1.1.0 3.Hive建表时使用了分桶，并且加入了stored as orc参数，之前这么创建是为了能够实现delete等操作 处理过程 最初想要在Sqoop中使用hca 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(618)
评论(0)
推荐(0)
摘要：
Ambari集成Prometheus-打包软件 目录结构bin目录conf目录sbin目录环境设置脚本prometheus-env.sh启动脚本prometheus.sh SPEC文件编写 目录结构 集成自定义的服务，首先要准备好服务的rpm安装包，Prometheus官方本身发布的就是开箱即用的二 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(343)
评论(0)
推荐(0)
摘要：
Loki配置采集haproxy日志 前言正文haproxy格式化日志Loki配置日志采集 结语 前言 haproxy作为一个负载均衡器，能够有效的分摊应用的访问负载，一定程度上帮助应用避免单点风险，有时候，会有从haproxy日志中分析数据的需求。 当前的一个环境中，通过haproxy作为后端查询接 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(1010)
评论(2)
推荐(0)
摘要：
Grafana Loki日志采集初探 1. 基本介绍1.1 工作概述1.2 基本特性1.3 架构介绍1.3.1 多租户设计1.3.2 工作模式1.3.2.1 Monolithic mode1.3.2.2 Simple scalable deployment mode1.3.2.3 Microserv 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(1321)
评论(0)
推荐(0)
摘要：
NameNode格式化——组件恢复，数据丢失 前情提要过程记录准备工作停止HDFS进程删除数据删除日志和临时目录启动JournalNode服务 格式化HDFS执行NameNode格式化恢复Standby NameNode启动Standby NameNode 恢复依赖服务 小结 前情提要 近段时间测试 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(658)
评论(0)
推荐(0)
摘要：
删了HDFS又能怎样？记一次删库不跑路事件[转]） 一、事发背景二、应急措施直观的方案 三、分析过程hdfs文件删除过程EditLog hdfs元数据的加载方案确定 四、灾难重演反解析更改后的xml文件成editlog重命名掉之前的editlog替换反解析后的editlog 五、经验总结 一、事发背 阅读全文
posted @ 2022-08-25 18:03
风灵动铭
阅读(390)
评论(0)
推荐(0)
浙公网安备 33010602011771号