ELBOR&LIU

2019年3月12日

摘要：问题背景春节假期间，接连收到监控程序发出的数据异常问题，赶忙连接上跳板机检查各服务间的状态，发现Datanode在第二台、第三台从节点都掉线了，通过查看Datanode和Namenode运行日志，发现了问题所在，记录下这次惊心的处理过程，供参考。问题描述 Namonode主节点运行时报出内存溢出阅读全文

posted @ 2019-03-12 15:33 ELBOR&LIU 阅读(1822) 评论(0) 推荐(0)

2019年1月29日

Cannot obtain block length for LocatedBlock故障分析和解决

摘要：问题描述：Cannot obtain block length for LocatedBlock故障分析和解决解决方案：使用 hdfs debug recoverLease -path 阅读全文

posted @ 2019-01-29 11:24 ELBOR&LIU 阅读(565) 评论(0) 推荐(0)

2017年12月15日

hadoop日常维护之问题解决01

摘要：执行hadoop任务遇到的问题： Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hive/warehouse/rec_new2.db/user_session/.hive-stagi 阅读全文

posted @ 2017-12-15 15:05 ELBOR&LIU 阅读(1311) 评论(0) 推荐(0)

2017年8月29日

MapReduce详解及shuffle阶段

摘要： hadoop1.x和hadoop2.x的区别： Hadoop1.x版本：内核主要由Hdfs和Mapreduce两个系统组成，其中Mapreduce是一个离线分布式计算框架，由一个JobTracker和多个TaskTracker组成。 JobTracker的主要作用：JobTracker是框架的中心阅读全文

posted @ 2017-08-29 09:42 ELBOR&LIU 阅读(7958) 评论(0) 推荐(0)

2017年8月28日

【NoSql】之Hbase

摘要： Hbase概述 · Hbase是构建在hdfs上的分布式列式存储系统 · Hbase内部管理的文件全部存储在HDFS上面， · Hbase是基于google bigtable 模型开发的，典型的noSql-KeyValue数据库； · Hbase是hadoop生态系统中的重要一员，主要用于海量结构化阅读全文

posted @ 2017-08-28 09:53 ELBOR&LIU 阅读(402) 评论(0) 推荐(0)

公告