上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 24 下一页
摘要: 一、概述 垃圾收集 Garbage Collection 通常被称为“GC”,它诞生于1960年 MIT 的 Lisp 语言,经过半个多世纪,目前已经十分成熟了。 jvm 中,程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭,栈帧随着方法的进入和退出做入栈和出栈操作,实现了自动的内存清理,因 阅读全文
posted @ 2018-04-30 16:07 扎心了,老铁 阅读(5874) 评论(0) 推荐(0) 编辑
摘要: 一、JVM的结构图 1.1 Java内存结构 JVM内存结构主要有三大块:堆内存、方法区和栈。 堆内存是JVM中最大的一块由年轻代和老年代组成,而年轻代内存又被分成三部分,Eden空间、From Survivor空间、To Survivor空间,默认情况下年轻代按照8:1:1的比例来分配; 方法区存 阅读全文
posted @ 2018-04-30 15:29 扎心了,老铁 阅读(5754) 评论(3) 推荐(4) 编辑
摘要: 摘抄自:https://tech.meituan.com/spark-tuning-basic.html 一、概述 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参 阅读全文
posted @ 2018-04-30 15:11 扎心了,老铁 阅读(6156) 评论(1) 推荐(6) 编辑
摘要: 摘抄自:https://mp.weixin.qq.com/s?__biz=MzI2MjM2MDEzNQ==&mid=2247489072&idx=1&sn=2ac46ef358be4eef43f3de8670086746&chksm=ea4d0b18dd3a820ef82122648806c8516 阅读全文
posted @ 2018-04-27 09:07 扎心了,老铁 阅读(3520) 评论(0) 推荐(1) 编辑
摘要: 摘抄自:https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.html 一、概述 Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮 阅读全文
posted @ 2018-04-26 21:33 扎心了,老铁 阅读(16356) 评论(1) 推荐(10) 编辑
摘要: 摘抄自https://tech.meituan.com/spark-tuning-pro.html 一、概述 大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行 阅读全文
posted @ 2018-04-26 19:23 扎心了,老铁 阅读(8514) 评论(0) 推荐(4) 编辑
摘要: 摘抄自:https://tech.meituan.com/spark-tuning-pro.html 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证 阅读全文
posted @ 2018-04-25 19:16 扎心了,老铁 阅读(9445) 评论(0) 推荐(8) 编辑
摘要: 摘抄自:https://tech.meituan.com/spark-tuning-basic.html 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计 阅读全文
posted @ 2018-04-25 19:07 扎心了,老铁 阅读(11397) 评论(1) 推荐(9) 编辑
摘要: 一、Spark中的基本概念 (1)Application:表示你的应用程序 (2)Driver:表示main()函数,创建SparkContext。由SparkContext负责与ClusterManager通信,进行资源的申请,任务的分配和监控等。程序执行完毕后关闭SparkContext (3) 阅读全文
posted @ 2018-04-25 18:53 扎心了,老铁 阅读(24538) 评论(5) 推荐(14) 编辑
摘要: Transformation算子 基本的初始化 java scala 一、map、flatMap、mapParations、mapPartitionsWithIndex 1.1 map (1) 使用Java7进行编写 map十分容易理解,他是将源JavaRDD的一个一个元素的传入call方法,并经过 阅读全文
posted @ 2018-04-25 15:00 扎心了,老铁 阅读(19707) 评论(7) 推荐(10) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 24 下一页