01 2019 档案

spark基准测试-BigDataBenchs
摘要:https://blog.csdn.net/haoxiaoyan/article/details/53895068 阅读全文

posted @ 2019-01-14 15:42 moonlight.ml 阅读(587) 评论(0) 推荐(0)

Linux自带-系统级性能分析工具 — Perf(转)
摘要:https://blog.csdn.net/zhangskd/article/details/37902159/ 阅读全文

posted @ 2019-01-14 15:38 moonlight.ml 阅读(197) 评论(0) 推荐(0)

spark性能测试理论-Benchmark(转)
摘要:一、Benchmark简介Benchmark是一个评价方式,在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more difficult to compare the performance of var 阅读全文

posted @ 2019-01-14 15:16 moonlight.ml 阅读(2870) 评论(0) 推荐(0)

spark常用参数
摘要:val conf = new SparkConf().setAppName("WordCount_groupBy").setMaster("local") // .set("spark.default.parallelism", "100") // 1. 调节并行度 .set("spark.executor.memory ","4g") .set("spa... 阅读全文

posted @ 2019-01-08 17:31 moonlight.ml 阅读(435) 评论(0) 推荐(0)

matlab均方根误差
摘要:Matlab均方根误差的计算 http://blog.sina.com.cn/s/blog_6210f654010308kv.html 阅读全文

posted @ 2019-01-08 15:02 moonlight.ml 阅读(4590) 评论(0) 推荐(0)

在线matlab网站
摘要:网址: http://octave-online.net/ 使用: 阅读全文

posted @ 2019-01-08 14:52 moonlight.ml 阅读(4052) 评论(0) 推荐(1)

spark-wordcount-sample算子测试
摘要:import org.apache.spark.{SparkConf, SparkContext} object radomSampleU { def main(args: Array[String]) { val conf = new SparkConf().setAppName("WordCount_groupBy") .setMaster("local") ... 阅读全文

posted @ 2019-01-04 17:17 moonlight.ml 阅读(508) 评论(0) 推荐(0)

Spark-水库抽样-根据抽样率确定每个分区的样本大小
摘要:/* * 输入:采样率,待采样的RDD * 输出:每个分区的样本大小(记录数) * 由采样率确定,每个分区的样本大小 */ def findNumPerPartition[T: ClassTag, U: ClassTag](sampleRate : Double, rddNum : RDD[T]): Int ={ //RDD总记录数 val numRdd=rddNum... 阅读全文

posted @ 2019-01-04 17:04 moonlight.ml 阅读(344) 评论(0) 推荐(0)

导航