摘要：
touch /etc/rc.d/init.d/rundeckdecho "#!/bin/bash sh /opt/rundeck/server/sbin/rundeckd start" > /etc/rc.d/init.d/rundeckd chown -R root:root /etc/rc.d/ 阅读全文
posted @ 2017-04-09 20:51
流浪在伯纳乌
阅读(156)
评论(0)
推荐(0)
摘要：
1 NodeManager 中GC收集时间占的比例过多。Detected pause in JVM or host machine (eg GC): pause of approximately 13245msGC pool 'ConcurrentMarkSweep' had collection( 阅读全文
posted @ 2017-04-09 20:28
流浪在伯纳乌
阅读(1725)
评论(0)
推荐(0)
摘要：
报错如下： 解决办法： /usr/bin/Zookeeper-client.sh ls / rmr /hadoop-ha 重新hdfs zkfc –formatZK ， 并添加配置： 阅读全文
posted @ 2017-04-09 20:26
流浪在伯纳乌
阅读(1391)
评论(0)
推荐(0)
摘要：
报错如下： ls /hdfs ls: 无法访问/hdfs: 传输端点尚未连接 解决办法： lsof | grep /hdfs 找到相关进程kil -9 $id umount /hdfshadoop-fuse-dfs dfs://nameservice1 /hdfs //重新挂载 阅读全文
posted @ 2017-04-09 20:22
流浪在伯纳乌
阅读(340)
评论(0)
推荐(0)
摘要：
报错： rundeck gc overhead limit exceeded 内存满了，释放内存。或者修改rundeck java 虚拟机参数export RDECK_JVM="$RDECK_JVM -Xmx1024m -Xms512m -XX:MaxPermSize=1024m -server" 阅读全文
posted @ 2017-04-09 20:20
流浪在伯纳乌
阅读(434)
评论(0)
推荐(0)
摘要：
给用户添加sudo 权限脚本： userNameList=(dp dam das bidw) ; for userName in ${userNameList[*]}; do echo $userName ' ALL=(ALL) NOPASSWD: ALL,!/bin/su' > /etc/sudo 阅读全文
posted @ 2017-04-09 20:14
流浪在伯纳乌
阅读(641)
评论(0)
推荐(0)
摘要：
报错如下： 因为在配置时默认为stub模式执行，只是在本地cp 所以要修改project的配置，vi project.properties service.NodeExecutor.default.provider=jsch-ssh service.FileCopier.default.provid 阅读全文
posted @ 2017-04-09 20:12
流浪在伯纳乌
阅读(293)
评论(0)
推荐(0)
摘要：
1 修改/etc/reslov.conf添加;generated by /sbin/dhclient-scriptnameserver 8.8.8.8nameserver 4.4.4.4 1、service NetworkManager stop2、service network restart 3 阅读全文
posted @ 2017-04-09 20:06
流浪在伯纳乌
阅读(176)
评论(0)
推荐(0)
摘要：
1 加大map，与reduce执行内存，由2改为3 2 yarn.nodemanager.vmem-pmem-ratio默认参数是2.1 调大可以减少物理内存出现不足的情况。只要参数值*分配的内存>需要的内存值，就不会报错。 3 添加spark shuffle 4 hbase region 大小设置 阅读全文
posted @ 2017-04-09 19:59
流浪在伯纳乌
阅读(2554)
评论(0)
推荐(0)
摘要：
报错如下： Failed: SSHProtocolFailure: Session.connect: java.net.SocketException: Connection reset connection is closed by foreign host 解决办法： Ssh 连接的问题 修改/ 阅读全文
posted @ 2017-04-09 19:43
流浪在伯纳乌
阅读(746)
评论(0)
推荐(0)
摘要：
chgrp -r 组名 文件名 chgrp -R stage /hdfs/dw/stage/ 修改hdfs上文件组为stage 阅读全文
posted @ 2017-04-09 19:37
流浪在伯纳乌
阅读(301)
评论(0)
推荐(0)
摘要：
操作如下： ulimit -a #查看现有各个限制值情况 ulimit -n #查看现有打开文件打开数量最大值 cat /proc/sys/fs/file-max #查看本Linux最大打开文件打开数限制 echo ' * soft nofile 409600 ' >> /etc/security/ 阅读全文
posted @ 2017-04-09 19:35
流浪在伯纳乌
阅读(2594)
评论(0)
推荐(0)
摘要：
应该是端口问题，找不到spark节点。手动设置端口号 spark-shell --conf spark.shuffle.service.enabled=true --conf spark.replClassServer.port=15002 阅读全文
posted @ 2017-04-09 19:28
流浪在伯纳乌
阅读(1485)
评论(0)
推荐(0)
摘要：
#!/bin/bash iplist=( #10.130.2.20 10.130.2.22 10.130.2.40 10.130.2.41 10.130.2.42 10.130.2.44 10.130.2.45) kill -9 `lsof -i:11000|awk 'NR>1 {print $2} 阅读全文
posted @ 2017-04-09 19:16
流浪在伯纳乌
阅读(337)
评论(0)
推荐(0)
摘要：
在master的/conf/spark-defaults.conf中配置 spark.shuffle.service.enabled true spark.shuffle.service.port 7337 但是在从节点的spark-defaults.conf中注释上面两个配置选项，不然web 界面 阅读全文
posted @ 2017-04-09 19:07
流浪在伯纳乌
阅读(903)
评论(0)
推荐(0)
摘要：
spark-shell on Yarn /opt/spark-1.6.1-bin-hadoop2.6/bin/spark-shell --master yarn --deploy-mode client --conf spark.shuffle.service.enabled=true --conf 阅读全文
posted @ 2017-04-09 18:59
流浪在伯纳乌
阅读(180)
评论(0)
推荐(0)
摘要：
需求：使用spark sql 的执行引擎来操作hive数据仓库中的数据，使用hive thriftserver 服务 cd /opt/modules/spark-1.6.1-bin-hadoop2.6/sbin/sudo vim start-thriftserver-withJDBC.sh修改如下： 阅读全文
posted @ 2017-04-09 18:55
流浪在伯纳乌
阅读(2872)
评论(0)
推荐(0)
浙公网安备 33010602011771号