摘要：
1 同时运行5个Spark任务的资源分配截图 2 每个任务占用3个Container 3个core以及4.5GB内存 也就是说一个Container需要 1个core 以及 512MB的内存 如果资源不够，可以提交任务时修改下内存分配，比如256MB，这样就可以提交更多的Spark任务到Yarn集群 阅读全文
posted @ 2019-05-13 09:32
Questions张
阅读(696)
评论(0)
推荐(0)
摘要：
truncate table 可以不删除表的情况下，快速情况表数据 阅读全文
posted @ 2019-05-11 23:09
Questions张
阅读(6478)
评论(0)
推荐(1)
摘要：
1 第一个是替换当前行的yesterday为all 第二个是替换全局的 yesterday 为all :s/yesterday/all :s/yesterday/all/g 阅读全文
posted @ 2019-05-11 23:01
Questions张
阅读(399)
评论(0)
推荐(0)
摘要：
1 ssh -v git@github.com 通过这个命令打印调试信息 ebug1: expecting SSH2_MSG_NEWKEYS debug1: SSH2_MSG_NEWKEYS received debug1: rekey after 134217728 blocks debug1: 阅读全文
posted @ 2019-05-11 11:03
Questions张
阅读(2490)
评论(0)
推荐(0)
摘要：
1 详细信息 User class threw exception: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was creat 阅读全文
posted @ 2019-05-09 19:31
Questions张
阅读(4447)
评论(0)
推荐(0)
摘要：
激活1.0.1的包 然后重启各个节点 检查kafka版本是否升级成功 版本升级成功 验证之前的topic是否可用 生产者启动 [cloudera-scm@cdh4 parcel-repo]$ /opt/cloudera/parcels/KAFKA-2.1.1-1.2.1.1.p0.18/lib/ka 阅读全文
posted @ 2019-05-06 23:08
Questions张
阅读(926)
评论(0)
推荐(0)
摘要：
1 系统设置--Mission Control -- 自动根据最近使用情况排序的勾勾去掉 阅读全文
posted @ 2019-04-30 10:04
Questions张
阅读(581)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2019-04-23 08:08
Questions张
阅读(137)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2019-04-23 08:04
Questions张
阅读(129)
评论(0)
推荐(0)
摘要：
删除乱码文件 一些文件乱码使用rm -rf依然无法删除 此时可以使用ll -i 查找到文件的inode节点 然后使用查找到的inode编号 find . inum 查找到的inode编号 -exec rm {} -rf \; 阅读全文
posted @ 2019-04-23 07:57
Questions张
阅读(306)
评论(0)
推荐(0)
浙公网安备 33010602011771号