moonlight.ml - 博客园

2018年11月5日

spark性能调优--jvm调优（转）

摘要：一.问题切入调用spark 程序的时候，在获取数据库连接的时候总是报内存溢出错误（在ideal上运行的时候设置jvm参数 -Xms512m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024M，不会报错）二.jvm参数和 saprk 参数和阅读全文

posted @ 2018-11-05 11:32 moonlight.ml 阅读(1289) 评论(0) 推荐(0)

Ubuntu16下查看CPU、内存和磁盘相关信息

摘要： 1.内存 2.CPU 3.磁盘大小阅读全文

posted @ 2018-11-05 11:28 moonlight.ml 阅读(277) 评论(0) 推荐(0)

2018年11月3日

JVM内存区域参数配置

摘要：转自：https://www.jianshu.com/p/5946c0a414b5 需要提前了解的知识点： JVM内存模型 JVM垃圾回收算法下图是JVM内存区域划分的逻辑图 JVM内存区域逻辑图从图中我们大概了解JVM相关的内存区域。 JVM内存包括区域 Heap（堆区） New Genera 阅读全文

posted @ 2018-11-03 21:27 moonlight.ml 阅读(308) 评论(0) 推荐(0)

spark调优-内存和GC调优（官网）

只有注册用户登录后才能阅读该文。阅读全文

posted @ 2018-11-03 20:55 moonlight.ml 阅读(4) 评论(0) 推荐(0)

spark调优-硬件配置条件

只有注册用户登录后才能阅读该文。阅读全文

posted @ 2018-11-03 19:15 moonlight.ml 阅读(2) 评论(0) 推荐(0)

2018年10月30日

spark性能优化-JVM虚拟机垃圾回收调优

摘要： 1 2 3 4 阅读全文

posted @ 2018-10-30 22:53 moonlight.ml 阅读(294) 评论(0) 推荐(0)

Linux 合并多个txt文件到一个文件

摘要： Linux 或类Unix 下实现合并多个文件内容到一个文件中代码如下阅读全文

posted @ 2018-10-30 12:49 moonlight.ml 阅读(8062) 评论(0) 推荐(0)

linux下文件的复制、移动与删除

摘要： linux下文件的复制、移动与删除命令为：cp，mv，rm 一、文件复制命令cp 二、文件移动命令mv Linux当前目录所有文件移动到上一级目录 mv * ../ 三、文件删除命令rm 阅读全文

posted @ 2018-10-30 12:38 moonlight.ml 阅读(191) 评论(0) 推荐(0)

2018年10月29日

031_spark架构原理

摘要： spark核心组件 driver master worker executor task(只有task是线程）核心组件的原理图解阅读全文

posted @ 2018-10-29 11:02 moonlight.ml 阅读(189) 评论(0) 推荐(0)

Scala基础篇-05求值策略

摘要： Scala的求值策略有2种： call by value call by name 如何区分？例子：阅读全文

posted @ 2018-10-29 10:08 moonlight.ml 阅读(124) 评论(0) 推荐(0)

导航

公告