摘要：
1、前置知识： （1）sc.defaultMinPartitions sc.defaultMinPartitions=min(sc.defaultParallelism,2) 也就是sc.defaultMinPartitions只有两个值1和2，当sc.defaultParallelism>1时值为 阅读全文
posted @ 2020-02-12 19:15
guoyu1
阅读(2223)
评论(0)
推荐(0)
摘要：
1、任务中如何确定spark RDD分区数、task数目、core个数、worker节点个数、excutor数量 （1）hdfs 上的文件的存储形式是以 Block 的形式存储的，每个 File 文件都包含了很多块，一个Block默认是128M大小。当 spark 从 hdfs 上读取数据的时候，会 阅读全文
posted @ 2020-02-12 15:13
guoyu1
阅读(2782)
评论(0)
推荐(0)
摘要：
1、java反射机制：Java的反射（reflection）机制是指在程序的运行状态中，可以构造任意一个类的对象，可以了解任意一个对象所属的类，可以了解任意一个类的成员变量和方法，可以调用任意一个对象的属性和方法。这种动态获取程序信息以及动态调用对象的功能称为Java语言的反射机制。反射被视为动态语 阅读全文
posted @ 2020-02-12 08:56
guoyu1
阅读(183)
评论(0)
推荐(0)
浙公网安备 33010602011771号