摘要： https://blog.csdn.net/haoxiaoyan/article/details/53895068 阅读全文

摘要： https://blog.csdn.net/zhangskd/article/details/37902159/ 阅读全文

摘要： 一、Benchmark简介Benchmark是一个评价方式，在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more difficult to compare the performance of var 阅读全文

摘要： val conf = new SparkConf().setAppName("WordCount_groupBy").setMaster("local") // .set("spark.default.parallelism", "100") // 1. 调节并行度 .set("spark.executor.memory ","4g") .set("spa... 阅读全文

摘要： Matlab均方根误差的计算 http://blog.sina.com.cn/s/blog_6210f654010308kv.html 阅读全文

摘要： 网址： http://octave-online.net/ 使用： 阅读全文

摘要： import org.apache.spark.{SparkConf, SparkContext} object radomSampleU { def main(args: Array[String]) { val conf = new SparkConf().setAppName("WordCount_groupBy") .setMaster("local") ... 阅读全文

摘要： /* * 输入：采样率，待采样的RDD * 输出：每个分区的样本大小（记录数） * 由采样率确定，每个分区的样本大小 */ def findNumPerPartition[T: ClassTag, U: ClassTag](sampleRate : Double, rddNum : RDD[T]): Int ={ //RDD总记录数 val numRdd=rddNum... 阅读全文

摘要： Spark中产生shuffle的算子 作用 算子名 能否替换，由谁替换 去重 distinct() 不能 聚合 reduceByKey() groupByKey groupBy() groupByKey() reduceByKey aggregateByKey() combineByKey() 排序 阅读全文

摘要： 1.代码 2.test 原Zipf齐夫分布及Java实现 zipf数据写入外部文本 阅读全文