随笔分类 -  spark

摘要：https://blog.csdn.net/haoxiaoyan/article/details/53895068 阅读全文

摘要：一、Benchmark简介Benchmark是一个评价方式，在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more difficult to compare the performance of var 阅读全文

摘要：网址： http://octave-online.net/ 使用： 阅读全文

摘要：import org.apache.spark.{SparkConf, SparkContext} object radomSampleU { def main(args: Array[String]) { val conf = new SparkConf().setAppName("WordCount_groupBy") .setMaster("local") ... 阅读全文

摘要：/* * 输入：采样率，待采样的RDD * 输出：每个分区的样本大小（记录数） * 由采样率确定，每个分区的样本大小 */ def findNumPerPartition[T: ClassTag, U: ClassTag](sampleRate : Double, rddNum : RDD[T]): Int ={ //RDD总记录数 val numRdd=rddNum... 阅读全文

摘要：Spark中产生shuffle的算子 作用 算子名 能否替换，由谁替换 去重 distinct() 不能 聚合 reduceByKey() groupByKey groupBy() groupByKey() reduceByKey aggregateByKey() combineByKey() 排序 阅读全文

摘要：一.问题切入 调用spark 程序的时候，在获取数据库连接的时候总是报 内存溢出 错误 （在ideal上运行的时候设置jvm参数 -Xms512m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024M，不会报错） 二.jvm参数 和 saprk 参数 和 阅读全文

摘要：转自：https://www.jianshu.com/p/5946c0a414b5 需要提前了解的知识点： JVM内存模型 JVM垃圾回收算法 下图是JVM内存区域划分的逻辑图 JVM内存区域逻辑图 从图中我们大概了解JVM相关的内存区域。 JVM内存包括区域 Heap（堆区） New Genera 阅读全文

只有注册用户登录后才能阅读该文。

只有注册用户登录后才能阅读该文。

摘要：1 2 3 4 阅读全文

摘要：spark核心组件 driver master worker executor task(只有task是线程） 核心组件的原理图解 阅读全文

摘要：1.spark 2.2内存占用计算公式 https://blog.csdn.net/lingbo229/article/details/80914283 2.spark on yarn内存分配** 本文转自：http://blog.javachen.com/2015/06/09/memory-in- 阅读全文

只有注册用户登录后才能阅读该文。

只有注册用户登录后才能阅读该文。

摘要：iris.data 5.1,3.5,1.4,0.2,Iris-setosa 4.9,3.0,1.4,0.2,Iris-setosa 4.7,3.2,1.3,0.2,Iris-setosa 4.6,3.1,1.5,0.2,Iris-setosa 5.0,3.6,1.4,0.2,Iris-setosa 阅读全文

摘要：house.csv 阅读全文

摘要：1）Spark配置&启动脚本分析 http://www.cnblogs.com/riordon/p/5732208.html 阅读全文

摘要：数据集 iris.data 数据集概览 代码 输出结果 阅读全文

摘要：数据集 iris.data 数据集概览 代码 输出结果 阅读全文