随笔分类 -  hadoop

多个NameNode的HDFS集群切换HA后，Spark应用变得很慢的处理办法
摘要：Spark客户端需要依次轮询到Active NameNode才能正确执行。 查看hdfs-site.xml配置，配置在hdfs-site.xml中的FailoverProxyProvider接口为ConfiguredFailoverProxyProvider。源码实现为：从hdfs-site.xml 阅读全文
posted @ 2022-05-15 09:55 斜杠代码日记 阅读(275) 评论(0) 推荐(0)
Hadoop Exporter开源项目开发指南
摘要：Hadoop Exporter开源项目 该项目最后一次更新为2018年。其主要就是监控集群中的各个组件的JMX端口。而开源的集群大多数也都是通过JMX开放自己的重要监控数据。例如：HDFS、YARN等。 总体来说，项目是不错的，如果我们自己去逐个组件开发支持Prometheus，会耗用我们大量时间。 阅读全文
posted @ 2021-03-16 00:47 斜杠代码日记 阅读(1681) 评论(1) 推荐(0)
使用Prometheus+Grafana进行Apache Hadoop集群监控
摘要：简介 Prometheus——从指标到洞察 开源监控解决方案 维度模型 一个指标，可以通过多种维度来分析。 Metrics + Multi-dimension，以key-value简洁描述时间序列数据 PromQL 基于维度模型的查询语言 可视化支撑 支持build-in表达式方式浏览 支持Graf 阅读全文
posted @ 2021-03-16 00:45 斜杠代码日记 阅读(3443) 评论(0) 推荐(1)
安装CM 6.3.1和CDH 6.3.2
摘要：操作系统要求 在安装CDH之前，我们来看看平台对系统有什么样的要求。通过官方文档，我们可以看到有5个方面的要求： 软件依赖 CDH和CM支持的依赖 文件系统要求 nproc配置 Kudu所要求的nscd 软件依赖 Python 操作系统带的Python是支持的（Hue和Spark会有一点问题），但P 阅读全文
posted @ 2021-02-19 09:20 斜杠代码日记 阅读(930) 评论(0) 推荐(0)
分享一些Hadoop的学习资源
摘要：Hadoop Beginner's Guide.pdf item description 封面 初版时间 2014-01-01 出版社 人民邮电出版社 作者 Garry Turkington 页数 310 Hadoop技术内幕：深入解析MapReduce架构设计与实现原理.pdf item desc 阅读全文
posted @ 2021-02-17 16:10 斜杠代码日记 阅读(179) 评论(0) 推荐(0)
Hadoop 3.0 EC技术
摘要：Hadoop 3.0 EC技术 EC的设计目标 Hadoop默认的3副本方案需要额外的200%的存储空间、和网络IO开销 而一些较低I/O的warn和cold数据，副本数据的访问是比较少的（hot数据副本会被用于计算） EC可以提供同级别的容错能力，存储空间要少得多（官方宣传不到50%），使用了EC 阅读全文
posted @ 2021-02-16 17:21 斜杠代码日记 阅读(4558) 评论(0) 推荐(0)