--------【Hadoop线上异常】 - 随笔分类 - 程序优化

摘要：生产环境（cdh5.5.1）遇到一个问题：已经设置 dfs.datanode.du.reserved预留空间为20G，但是磁盘仍然被写满了。当挂载磁盘作为datanode的存储空间，如果磁盘大小为2000G，使用df -h 显示：总磁盘大小2000G，使用1930G，... 阅读全文

posted @ 2017-04-08 09:46 程序优化阅读(1015) 评论(0) 推荐(0)

摘要：修改的ranger ui的admin用户登录密码时，需要在ranger的配置里把admin_password改成一样的，否则hdfs的namenode在使用admin时启动不起来,异常如下:Traceback (most recent call last): Fil... 阅读全文

posted @ 2016-10-27 10:33 程序优化阅读(2191) 评论(0) 推荐(0)

摘要：在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flume传到hdfs上的... 阅读全文

posted @ 2016-05-16 01:55 程序优化阅读(643) 评论(0) 推荐(0)

摘要：在hadoop集群启用权限控制后，发现job运行日志的ui访问不了， User [dr.who] is not authorized to view the logs for application原因 Resource Manager UI的默认用户dr.who权限... 阅读全文

posted @ 2016-03-02 21:27 程序优化阅读(1129) 评论(0) 推荐(0)

摘要：AM Container for appattempt_1453292851883_0381_000002 exited with exitCode: -1000For more detailed output, check application tracking ... 阅读全文

posted @ 2016-01-24 16:22 程序优化阅读(1658) 评论(0) 推荐(0)

摘要：org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.db/mac_wi... 阅读全文

posted @ 2016-01-24 16:17 程序优化阅读(2523) 评论(0) 推荐(0)

摘要：异常信息如下： 2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.java:run(278)) - hadoop07:50010:DataXceiver error processingunkno... 阅读全文

posted @ 2015-12-17 18:06 程序优化阅读(1713) 评论(1) 推荐(0)

ambari server内存溢出

摘要：抛出的异常信息如下：java.lang.OutOfMemoryError: PermGen spaceat java.lang.ClassLoader.defineClass1(Native Method)at java.lang.ClassLoader.define... 阅读全文

posted @ 2015-12-02 15:40 程序优化阅读(388) 评论(0) 推荐(0)

摘要：Request received to kill task 'attempt_201411191723_2827635_r_000009_0' by user-------Task has been KILLED_UNCLEAN by the user原因如下：1.A... 阅读全文

posted @ 2015-08-12 17:11 程序优化阅读(585) 评论(0) 推荐(0)

Error in deleting blocks.

摘要：2014-08-24 22:15:21,714 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Error processing datanode Commandjava.io.IOException: Er... 阅读全文

posted @ 2015-06-09 23:23 程序优化阅读(227) 评论(0) 推荐(0)

摘要：Hbase依赖的datanode日志中如果出现如下报错信息：DataXceiverjava.io.EOFException:INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in recei... 阅读全文

posted @ 2015-06-09 23:20 程序优化阅读(864) 评论(0) 推荐(0)

摘要：2014-08-25 15:35:05,691 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.130.136.136:50010, storageID=D... 阅读全文

posted @ 2015-06-09 23:14 程序优化阅读(2198) 评论(0) 推荐(0)

missing blocks错误

摘要：Datanode的日志中看到: 10/12/14 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.... 阅读全文

posted @ 2015-06-09 23:08 程序优化阅读(666) 评论(0) 推荐(0)

摘要：前段时间公司hadoop集群宕机，发现是namenode磁盘满了, 清理出部分空间后，重启集群时，重启失败。又发现集群Secondary namenode 服务也恰恰坏掉，导致所有的操作log持续写入edits.new 文件，等集群宕机的时候文件大小已经达... 阅读全文

posted @ 2015-01-31 23:22 程序优化阅读(684) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)