摘要：
1 异常信息 2 原因 因为core-site.xml 和 hdfs-site.xml配置了不一致的Hadoop.tmp.dir 目录，导致总是出现问题，删除掉core-site.xml中的tmp.dir配置，统一配置到hdfs-site.xml中 hdfs-site.xml中的dir配置 阅读全文
posted @ 2019-05-30 21:16
Questions张
阅读(733)
评论(0)
推荐(0)
摘要：
1 yarn application -list 阅读全文
posted @ 2019-05-27 19:48
Questions张
阅读(2020)
评论(0)
推荐(0)
摘要：
1 先查看整个磁盘的情况 df -h 查看整台服务器的硬盘使用情况 cd / 进入根目录 du -sh * 查看每个文件夹的大小 2 再进入到对应的大空间文件夹，定位，大文件夹 3 使用ln -s 软连接，连接到空间大的硬盘 例如 /var/log 空间太大，存储的，移动到wm1文件夹下面 sudo 阅读全文
posted @ 2019-05-16 11:27
Questions张
阅读(643)
评论(0)
推荐(0)
摘要：
1 同时运行5个Spark任务的资源分配截图 2 每个任务占用3个Container 3个core以及4.5GB内存 也就是说一个Container需要 1个core 以及 512MB的内存 如果资源不够，可以提交任务时修改下内存分配，比如256MB，这样就可以提交更多的Spark任务到Yarn集群 阅读全文
posted @ 2019-05-13 09:32
Questions张
阅读(692)
评论(0)
推荐(0)
摘要：
truncate table 可以不删除表的情况下，快速情况表数据 阅读全文
posted @ 2019-05-11 23:09
Questions张
阅读(6471)
评论(0)
推荐(1)
摘要：
1 第一个是替换当前行的yesterday为all 第二个是替换全局的 yesterday 为all :s/yesterday/all :s/yesterday/all/g 阅读全文
posted @ 2019-05-11 23:01
Questions张
阅读(397)
评论(0)
推荐(0)
摘要：
1 ssh -v git@github.com 通过这个命令打印调试信息 ebug1: expecting SSH2_MSG_NEWKEYS debug1: SSH2_MSG_NEWKEYS received debug1: rekey after 134217728 blocks debug1: 阅读全文
posted @ 2019-05-11 11:03
Questions张
阅读(2483)
评论(0)
推荐(0)
摘要：
1 详细信息 User class threw exception: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was creat 阅读全文
posted @ 2019-05-09 19:31
Questions张
阅读(4440)
评论(0)
推荐(0)
摘要：
激活1.0.1的包 然后重启各个节点 检查kafka版本是否升级成功 版本升级成功 验证之前的topic是否可用 生产者启动 [cloudera-scm@cdh4 parcel-repo]$ /opt/cloudera/parcels/KAFKA-2.1.1-1.2.1.1.p0.18/lib/ka 阅读全文
posted @ 2019-05-06 23:08
Questions张
阅读(920)
评论(0)
推荐(0)
摘要：
1 系统设置--Mission Control -- 自动根据最近使用情况排序的勾勾去掉 阅读全文
posted @ 2019-04-30 10:04
Questions张
阅读(577)
评论(0)
推荐(0)
浙公网安备 33010602011771号