2021年1月28日
Hadoop HDFS 的高可用性
摘要： 本指南讨论如何使用 Quorum Journal Manager (QJM)配置和使用 HDFS HA 在 Active 和 Standby NameNodes 之间共享edit logs。 背景 在 Hadoop 2.0.0之前，NameNode 是 HDFS 集群中的单点故障(SPOF)。每个集 阅读全文
posted @ 2021-01-28 21:37 数大招疯-公众号同名 阅读(1019) 评论(0) 推荐(0)
HDFS 本地短路读取 Short-Circuit Local Reads
摘要： 背景 在 HDFS 中，读操作通常要经过 DataNode。因此，当客户端请求 DataNode 读取文件时，DataNode 从磁盘读取该文件并通过 TCP 套接字将数据发送给客户端。所谓的“短路”读取就是绕过 DataNode，允许客户端直接读取文件。当然，这只有在客户端与数据共存的情况下才可能 阅读全文
posted @ 2021-01-28 21:09 数大招疯-公众号同名 阅读(464) 评论(0) 推荐(0)