随笔分类 -  大数据问题集

Yarn Nodemanager启动不了报YarnRuntimeException: Failed to initialize container executor error=13 权限不够
摘要：1、现象：有一个节点的NodeManager启动不了。 后台报错日志如下： 2、container-executor的权限如图所示： 3、问题排查过程 yarn后台运行的用户是mr，但是其不在users组中，导致没有权限报错。 解决方法：将mr加到users用户组中即可，为了减小影响使用root用户 阅读全文
posted @ 2019-10-12 15:49 王大咩的图书馆 阅读(3430) 评论(0) 推荐(0)
IDEA中看Flink 1.9源码时报Sources not found for: org.apache.flink:flink-shaded-hadoop-2:2.4.1-7.0
摘要：1、场景 在阅读Flink 1.9源码时，个别类如YarnClientImpl.java只能查看.class文件，想查看对应的.java source文件，点击Download source时，报Sources not found for: org.apache.flink:flink-shaded 阅读全文
posted @ 2019-10-09 16:41 王大咩的图书馆 阅读(3312) 评论(0) 推荐(0)
HDFS问题集（一），使用命令报错：com.google.protobuf.ServiceException:java.lang.OutOfMemoryError:java heap space
摘要：仅个人实践所得，若有不正确的地方，欢迎交流！ 一、起因 执行以下两条基本的HDFS命令时报错 这是正常的两条HDFS命令，怎么会报错了？然后就打开hdfs命令查看问题。 二、分析 1）利用以下命令找到hdfs命令所在路径 使用vim hdfs打开脚本，发现当以hdfs dfs 执行时，会利用到HAD 阅读全文
posted @ 2019-01-30 21:00 王大咩的图书馆 阅读(2507) 评论(0) 推荐(0)
Hive权限管理
摘要：最近遇到一个hive权限的问题，先简单记录一下，目前自己的理解不一定对，后续根据自己的理解程度更新 一、hive用户的概念 hive本身没有创建用户的命令，hive的用户就是Linux用户，若当前是用mr用户输入hive，进入hive的shell，则当前hive的用户为mr。 hive本身不提供用户 阅读全文
posted @ 2018-12-10 23:31 王大咩的图书馆 阅读(4854) 评论(0) 推荐(0)
使用Java连接HBASE过程中问题总结
摘要：本文是我个人在连接服务器的HBASE过程的一些问题总结。 一、用户和主机名的设置 1.1 报错：Insufficient permissions(user=Administartor) 原因：本地hostname为Administrator，而HBASE表的用户没有这个用户，所以报错。 措施：设置电 阅读全文
posted @ 2018-11-15 22:28 王大咩的图书馆 阅读(4834) 评论(0) 推荐(0)
Hplsql报错：...HiveSQLExpection:Error while compiling statement:No privilege 'Select' found for inputs {.....}
摘要：实践hplsql时，遇到的问题总结一下，若有不对的地方，欢迎交流。 一、Hplsql简介 hplsql的介绍详见：http://lxw1234.com/archives/2015/09/492.htm 二、hpsql的配置文件为hplsql-site.xml 2.1 常见的选项列表： 定义执行SQL 阅读全文
posted @ 2018-11-12 23:22 王大咩的图书馆 阅读(3051) 评论(0) 推荐(0)