11 2018 档案

spark中产生shuffle的算子
摘要：Spark中产生shuffle的算子 作用 算子名 能否替换，由谁替换 去重 distinct() 不能 聚合 reduceByKey() groupByKey groupBy() groupByKey() reduceByKey aggregateByKey() combineByKey() 排序 阅读全文

posted @ 2018-11-23 11:40 moonlight.ml 阅读(585) 评论(0) 推荐(0)

Java生成-zipf分布的数据集（自定义倾斜度，用作spark data skew测试）
摘要：1.代码 2.test 原Zipf齐夫分布及Java实现 zipf数据写入外部文本 阅读全文

posted @ 2018-11-19 11:40 moonlight.ml 阅读(864) 评论(0) 推荐(0)

spark性能调优--jvm调优（转）
摘要：一.问题切入 调用spark 程序的时候，在获取数据库连接的时候总是报 内存溢出 错误 （在ideal上运行的时候设置jvm参数 -Xms512m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024M，不会报错） 二.jvm参数 和 saprk 参数 和 阅读全文

posted @ 2018-11-05 11:32 moonlight.ml 阅读(1271) 评论(0) 推荐(0)

Ubuntu16下查看CPU、内存和磁盘相关信息
摘要：1.内存 2.CPU 3.磁盘大小 阅读全文

posted @ 2018-11-05 11:28 moonlight.ml 阅读(256) 评论(0) 推荐(0)

JVM内存区域参数配置
摘要：转自：https://www.jianshu.com/p/5946c0a414b5 需要提前了解的知识点： JVM内存模型 JVM垃圾回收算法 下图是JVM内存区域划分的逻辑图 JVM内存区域逻辑图 从图中我们大概了解JVM相关的内存区域。 JVM内存包括区域 Heap（堆区） New Genera 阅读全文

posted @ 2018-11-03 21:27 moonlight.ml 阅读(293) 评论(0) 推荐(0)

spark调优-内存和GC调优（官网）
只有注册用户登录后才能阅读该文。

posted @ 2018-11-03 20:55 moonlight.ml 阅读(4) 评论(0) 推荐(0)

spark调优-硬件配置条件
只有注册用户登录后才能阅读该文。

posted @ 2018-11-03 19:15 moonlight.ml 阅读(2) 评论(0) 推荐(0)

导航