2020年1月12日
HDFS自定义小文件分析功能
摘要： 前言看完本文的标题,可能有读者会心想:HDF... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(326) 评论(0) 推荐(0)
HDFS的滚动升级: Rolling Upgrade
摘要： 前言目前Hadoop版本更新迭代的速度还是比... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(354) 评论(0) 推荐(0)
HDFS的滚动升级: Rolling Upgrade
摘要： 前言目前Hadoop版本更新迭代的速度还是比... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(1630) 评论(0) 推荐(0)
HDFS inotify：Linux inotify机制在HDFS中的实现
摘要： 前言在文件系统的使用中,在某些场合我们往往会... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(591) 评论(0) 推荐(0)
HDFS QJM机制分析
摘要： 前言上周写了一篇译文专门从结构设计的层面来分... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(141) 评论(0) 推荐(0)
HDFS数据快速拷贝方案：FastCopy
摘要： 前言我们在使用HDFS的时候，往往有的时候需... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(1772) 评论(0) 推荐(0)
HDFS升级域：Upgrade Domain
摘要： 前言在前面的文章HDFS的滚动升级: Rol... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(1466) 评论(0) 推荐(0)
HDFS异步访问模式
摘要： 前言在现有HDFS的RPC调用方式上,采用的... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(96) 评论(0) 推荐(0)
HDFS数据快速拷贝方案：FastCopy
摘要： 前言我们在使用HDFS的时候，往往有的时候需... 阅读全文
posted @ 2020-01-12 19:08 回眸,境界 阅读(712) 评论(0) 推荐(0)
2019年1月18日
工作中Hadoop,Spark,Phoenix,Impala 集群中遇到坑及解决方案
摘要： 1.HDFS 修复 问题描述：其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件，导致namenode压力过大，其中一个namenode宕机后，没有及时发现 使得edits文件大量积累，在namenode1宕机后，namenode2 随后在凌晨1点也宕机。 原因分析：N 阅读全文
posted @ 2019-01-18 12:22 回眸,境界 阅读(1456) 评论(0) 推荐(0)