摘要: 一些实用的运维及甩锅小技巧 阅读全文
posted @ 2022-08-29 10:57 风灵动铭 阅读(931) 评论(0) 推荐(0)
摘要: NameNode格式化——组件恢复,数据丢失 前情提要过程记录准备工作停止HDFS进程删除数据删除日志和临时目录启动JournalNode服务 格式化HDFS执行NameNode格式化恢复Standby NameNode启动Standby NameNode 恢复依赖服务 小结 前情提要 近段时间测试 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(617) 评论(0) 推荐(0)
摘要: Grafana Loki日志采集初探 1. 基本介绍1.1 工作概述1.2 基本特性1.3 架构介绍1.3.1 多租户设计1.3.2 工作模式1.3.2.1 Monolithic mode1.3.2.2 Simple scalable deployment mode1.3.2.3 Microserv 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(1241) 评论(0) 推荐(0)
摘要: Loki配置采集haproxy日志 前言正文haproxy格式化日志Loki配置日志采集 结语 前言 haproxy作为一个负载均衡器,能够有效的分摊应用的访问负载,一定程度上帮助应用避免单点风险,有时候,会有从haproxy日志中分析数据的需求。 当前的一个环境中,通过haproxy作为后端查询接 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(973) 评论(2) 推荐(0)
摘要: Ambari集成Prometheus-打包软件 目录结构bin目录conf目录sbin目录环境设置脚本prometheus-env.sh启动脚本prometheus.sh SPEC文件编写 目录结构 集成自定义的服务,首先要准备好服务的rpm安装包,Prometheus官方本身发布的就是开箱即用的二 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(294) 评论(0) 推荐(0)
摘要: 记一次使用SQOOP抽数到Hive遇到的问题 前置条件 1.源端数据库类型为Mysql 2.目标端是Hive库,beeline为1.1.0 3.Hive建表时使用了分桶,并且加入了stored as orc参数,之前这么创建是为了能够实现delete等操作 处理过程 最初想要在Sqoop中使用hca 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(588) 评论(0) 推荐(0)
摘要: 删了HDFS又能怎样?记一次删库不跑路事件[转]) 一、事发背景二、应急措施直观的方案 三、分析过程hdfs文件删除过程EditLog hdfs元数据的加载方案确定 四、灾难重演反解析更改后的xml文件成editlog重命名掉之前的editlog替换反解析后的editlog 五、经验总结 一、事发背 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(369) 评论(0) 推荐(0)
摘要: HUE编译打包 环境准备编译安装安装依赖安装Python3 开始编译node安装SQLite3版本过低 环境准备 python3环境(非必须)githue源码包 编译安装 安装依赖 根据官方的建议命令进行依赖的安装 yum -y install libffi-devel gcc-c++ ant as 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(547) 评论(0) 推荐(0)
摘要: Yarn跟踪容器内存的开关 前言正文版本问题拓展知识 结语 前言 之前使用的YARN环境,在查看NodeManger日志的时候能够看到容器内存使用情况的信息,类似这样的日志: 2022-01-13 09:51:49,585 INFO org.apache.hadoop.yarn.server.nod 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(166) 评论(0) 推荐(0)
摘要: PG12数据库更改数据目录 修改启动文件重载服务配置初始化数据库 修改启动文件 此处默认使用RPM包将PG安装完成,默认会在/usr/lib/systemd/system/下创建一个postgresql.service文件,文件内容如下: # It's not recommended to modi 阅读全文
posted @ 2022-08-25 18:03 风灵动铭 阅读(259) 评论(0) 推荐(0)