摘要：
10-reduceByKey:算子： ** 一个聚合算子，将相同的kry进行聚合。 ** 可以分区的算子 示例1： val conf = new SparkConf().setMaster("local[*]").setAppName("demo") val sc = new SparkContex 阅读全文
posted @ 2022-01-21 23:21
不咬牙
阅读(151)
评论(0)
推荐(0)
摘要：
4-zipWithIndex: 根据下标进行拉链操作: 示例1： 将普通数组数据和下标进行拉链操作： val a=Array(1,2,3,4,5,6,7,8,9,10) val rdd1: RDD[Int] = sc.makeRDD(a) val rdd2 = rdd1.zipWithIndex() 阅读全文
posted @ 2022-01-20 21:36
不咬牙
阅读(101)
评论(0)
推荐(0)
摘要：
spark中的算子分为两类： [or 三类 ] 说明： RDD一旦创建不能修改，但是可以使用算子让一个RDD转换成新的RDD，这个过程的所有操作都要基于算子进行操作。 1--transformation 转换类算子 ： 根据数据集创建一个新的数据集，计算后返回一个新RDD；例如：一个rdd进行map 阅读全文
posted @ 2022-01-19 21:40
不咬牙
阅读(107)
评论(0)
推荐(0)
摘要：
昨天对开题原型进行汇报后，老师说我们的想法不对，是股票的权重制，但是经过我们的讨论后和对试题文件的分析 ，它要求的是先到先得。是一个队列而不是随机。 阅读全文
posted @ 2022-01-18 18:02
不咬牙
阅读(76)
评论(0)
推荐(0)
摘要：
修改分区数量的方法： [分区的数量决定了任务并行化处理任务的程度] 1-集合并行化创建RDD的时候可以手动的设置分区数量。Eg: sc.makeRDD(a,3) def makeRDD[T: ClassTag]( seq: Seq[T], numSlices: Int = defaultParall 阅读全文
posted @ 2022-01-17 20:11
不咬牙
阅读(58)
评论(0)
推荐(0)
摘要：
RDD的分区： 集合并行化的方式创建分区： [默认根据cores数自动分区，可以手动设置分区数量] scala> val a=Array(11,22,33) a: Array[Int] = Array(11, 22, 33) scala> sc.makeRDD(a,3) res1: org.apac 阅读全文
posted @ 2022-01-16 22:13
不咬牙
阅读(35)
评论(0)
推荐(0)
摘要：
今天做原型的时候遇到一个很奇怪的问题，layui open 的content属性我想打开一个指定页面，但是他把这个参数当作字符串。 写原型，做css和html的调整有的地方会有困难，就硬是达不到想要的效果 css中margin的四个参数的顺序，这个对调位置非常有用 margin：top right 阅读全文
posted @ 2022-01-15 15:08
不咬牙
阅读(32)
评论(0)
推荐(0)
摘要：
今天和队友对项目需求再次进行讨论，然后我们统一了意见，就是分一个秒杀的系统和一个对用户的判定机制，分为这两块来实现。此部分规则适用于贷款产品，而非本次题目中的存款产品。引入目的是希望参赛者实现一个简单的、可灵活配置规则的风险决策引擎。这是后面的期望。 阅读全文
posted @ 2022-01-14 23:37
不咬牙
阅读(103)
评论(0)
推荐(0)
摘要：
RDD：分布式的数据集 Rdd是spark中最基本的抽象，它代表的是一个只读的不能被改变的被分区的数据集。 在spark中存在很多的方法，这些方法都可以进行操作rdd，而这些方法就叫做算子。 特点： 只读：一旦创建，不能被修改，因为RDD是一个抽象。 不可变：一旦创建，不能被修改，只能生成新的RDD 阅读全文
posted @ 2022-01-11 22:01
不咬牙
阅读(110)
评论(0)
推荐(0)
摘要：
今天继续学习spark ，进入shell模式命令， bin/spark-shell --master spark://hadoop102:7077 会比较慢，相当于打开一个应用程序，所以会很慢 退出的命令是 :quit wordcount的demo 在命令行中，这里的结果要在网页的结果中看到，如果要 阅读全文
posted @ 2022-01-10 22:23
不咬牙
阅读(89)
评论(0)
推荐(0)
浙公网安备 33010602011771号