09 2018 档案

摘要:Cannot run program "order_log.sh" (in directory "/data/yarn/nm/usercache/chenweidong/appcache/application_1536202736675_0048/container_1536202736675_0 阅读全文
posted @ 2018-09-23 18:06 阿東哥© 阅读(764) 评论(0) 推荐(0)
摘要:Halting due to Out Of Memory Error...18/09/13 21:42:17 INFO mapreduce.Job: Task Id : attempt_1536756558194_0031_m_000001_0, Status : FAILEDError: Java 阅读全文
posted @ 2018-09-23 17:56 阿東哥© 阅读(2258) 评论(0) 推荐(0)
摘要:原因分析 -m 4 \ 导数命令中map task number=4,当-m 设置的值大于1时,split-by必须设置字段(需要是 int 类型的字段),如果不是 int类型的字段,则需要加上参数-Dorg.apache.sqoop.splitter.allow_text_splitter=tru 阅读全文
posted @ 2018-09-23 17:50 阿東哥© 阅读(560) 评论(0) 推荐(0)
摘要:KrbException: Cannot locate default realm 解决办法 1)拷贝需要组件的配置文件到项目中的 /resources/目录。如hadoop,目录/etc/hadoop/conf/ 2)代码中写入如下代码 System.setProperty("java.secur 阅读全文
posted @ 2018-09-23 17:46 阿東哥© 阅读(7571) 评论(0) 推荐(1)
摘要:ERROR transport.TSaslTransport: SASL negotiation failurejavax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid crede 阅读全文
posted @ 2018-09-23 17:35 阿東哥© 阅读(2100) 评论(0) 推荐(0)
摘要:执行Oozie调度Hive导数脚本抛java.io.IOException: output.properties data exceeds its limit [2048] 原因分析 shell脚本中一次提交的hql-mr作业量太大,其中包含的信息超过oozie launcher一次容许的最大值2K 阅读全文
posted @ 2018-09-23 17:29 阿東哥© 阅读(628) 评论(0) 推荐(0)
摘要:最近项目组用CDH搭建数据开发环境,有用到Kerberos安全组件。如下是相关命令,请参考: 进入kadmin kadmin.local / kadmin 创建数据库 kdb5_util create -r HADOOP.COM -s 启动kdc服务 service krb5kdc start 启动 阅读全文
posted @ 2018-09-20 12:00 阿東哥© 阅读(5623) 评论(2) 推荐(1)