第五章_Spark核心编程_Rdd_转换算子_Value型_sample算子
1. 定义
/* * 1. 定义 * def sample( * withReplacement: Boolean, * fraction: Double, * seed: Long = Utils.random.nextLong): RDD[T] * withReplacement : 抽取数据后是否将数据返回 true(放回),false(丢弃) * fraction(抽取的几率) : 如果抽取不放回的场合:数据源中每条数据被抽取的概率,基准值的概念 * 如果抽取放回的场合:表示数据源中的每条数据被抽取的可能次数 * seed(随机数种子) : 抽取数据时随机算法的种子 * 如果不传递第三个参数,那么使用的是当前系统时间 * * 2. 功能 * 根据指定的规则从数据集中抽取数据 * * */
object sampleTest extends App { val sparkconf: SparkConf = new SparkConf().setMaster("local").setAppName("groupByTest") val sc: SparkContext = new SparkContext(sparkconf) val rdd = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 7, 8, 10, 100)) private val rdd1: RDD[Int] = rdd.sample(true, 0.5) println(s"当前分区数 : ${rdd1.getNumPartitions}") println(rdd1.collect().mkString(",")) sc.stop() /* * 执行结果 * 当前分区数 : 2 1,1,8,10 * * */ }