摘要：
报错如下： 解决办法： /usr/bin/Zookeeper-client.sh ls / rmr /hadoop-ha 重新hdfs zkfc –formatZK ， 并添加配置： 阅读全文
posted @ 2017-04-09 20:26
流浪在伯纳乌
阅读(1391)
评论(0)
推荐(0)
摘要：
报错如下： ls /hdfs ls: 无法访问/hdfs: 传输端点尚未连接 解决办法： lsof | grep /hdfs 找到相关进程kil -9 $id umount /hdfshadoop-fuse-dfs dfs://nameservice1 /hdfs //重新挂载 阅读全文
posted @ 2017-04-09 20:22
流浪在伯纳乌
阅读(340)
评论(0)
推荐(0)
摘要：
报错： rundeck gc overhead limit exceeded 内存满了，释放内存。或者修改rundeck java 虚拟机参数export RDECK_JVM="$RDECK_JVM -Xmx1024m -Xms512m -XX:MaxPermSize=1024m -server" 阅读全文
posted @ 2017-04-09 20:20
流浪在伯纳乌
阅读(434)
评论(0)
推荐(0)
摘要：
给用户添加sudo 权限脚本： userNameList=(dp dam das bidw) ; for userName in ${userNameList[*]}; do echo $userName ' ALL=(ALL) NOPASSWD: ALL,!/bin/su' > /etc/sudo 阅读全文
posted @ 2017-04-09 20:14
流浪在伯纳乌
阅读(641)
评论(0)
推荐(0)
摘要：
报错如下： 因为在配置时默认为stub模式执行，只是在本地cp 所以要修改project的配置，vi project.properties service.NodeExecutor.default.provider=jsch-ssh service.FileCopier.default.provid 阅读全文
posted @ 2017-04-09 20:12
流浪在伯纳乌
阅读(293)
评论(0)
推荐(0)
摘要：
1 修改/etc/reslov.conf添加;generated by /sbin/dhclient-scriptnameserver 8.8.8.8nameserver 4.4.4.4 1、service NetworkManager stop2、service network restart 3 阅读全文
posted @ 2017-04-09 20:06
流浪在伯纳乌
阅读(176)
评论(0)
推荐(0)
摘要：
1 加大map，与reduce执行内存，由2改为3 2 yarn.nodemanager.vmem-pmem-ratio默认参数是2.1 调大可以减少物理内存出现不足的情况。只要参数值*分配的内存>需要的内存值，就不会报错。 3 添加spark shuffle 4 hbase region 大小设置 阅读全文
posted @ 2017-04-09 19:59
流浪在伯纳乌
阅读(2554)
评论(0)
推荐(0)
摘要：
报错如下： Failed: SSHProtocolFailure: Session.connect: java.net.SocketException: Connection reset connection is closed by foreign host 解决办法： Ssh 连接的问题 修改/ 阅读全文
posted @ 2017-04-09 19:43
流浪在伯纳乌
阅读(746)
评论(0)
推荐(0)
摘要：
chgrp -r 组名 文件名 chgrp -R stage /hdfs/dw/stage/ 修改hdfs上文件组为stage 阅读全文
posted @ 2017-04-09 19:37
流浪在伯纳乌
阅读(301)
评论(0)
推荐(0)
摘要：
操作如下： ulimit -a #查看现有各个限制值情况 ulimit -n #查看现有打开文件打开数量最大值 cat /proc/sys/fs/file-max #查看本Linux最大打开文件打开数限制 echo ' * soft nofile 409600 ' >> /etc/security/ 阅读全文
posted @ 2017-04-09 19:35
流浪在伯纳乌
阅读(2594)
评论(0)
推荐(0)
浙公网安备 33010602011771号