一y样

摘要： 1. sortBy是Transformation算子，为什么会触发Action sortBy需要对数据进行全局排序，其需要用到RangePartitioner，而在创建RangePartitioner时需要大概知道有多少数据，以及数据的范围（采样），其内部获取这个范围（rangeBounds）是通过 阅读全文

摘要： 1. Spark执行流程 知识补充：RDD的依赖关系 RDD的依赖关系分为两类：窄依赖（Narrow Dependency）和宽依赖(Shuffle Dependency) （1）窄依赖 窄依赖指的是父RDD中的一个分区最多只会被子RDD中的一个分区使用，意味着父RDD的一个分区内的数据是不能被分割 阅读全文

摘要： 1. 学科最受欢迎老师解法补充 day21中该案例的解法四还有一个问题，就是当各个老师受欢迎度是一样的时候，其排序规则就处理不了，以下是对其优化的解法 实现方式五 FavoriteTeacher5 package com._51doit.spark04 import org.apache.spark 阅读全文

摘要： 1. 广播变量 1.1 补充知识（来源：https://blog.csdn.net/huashetianzu/article/details/7821674） 之所以存在reduce side join，是因为在map阶段不能获取所有需要的join字段，即：同一个key对应的字段可能位于不同map中 阅读全文

摘要： 1 RDD编程实战案例一 数据样例 字段说明： 其中cid中1代表手机，2代表家具，3代表服装 1.1 计算订单分类成交金额 需求：在给定的订单数据，根据订单的分类ID进行聚合，然后管理订单分类名称，统计出某一天商品各个分类的成交金额，并保存至Mysql中 （1）法一，将json数据解析出来，直接使 阅读全文

摘要： 0. 零碎概念 （1） 这个有点疑惑，有可能是错误的。 （2） 此处就算地址写错了也不会报错，因为此操作只是读取数据的操作（元数据），表示从此地址读取数据但并没有进行读取数据的操作 （3）分区（有时间看HaDoopRDD这个方法的源码，用来计算分区数量的） 物理切片：实际将数据切分开，即以前的将数据 阅读全文

摘要： 0.前言 0.1 分布式运算框架的核心思想（此处以MR运行在yarn上为例） 提交job时，resourcemanager（图中写成了master）会根据数据的量以及工作的复杂度，解析工作量，从而产生任务（有多少个MapTask以及多少个ReduceTask），然后根据各个nodemanage节点资 阅读全文

摘要： 1.Akka RPC通信案例改造和部署在多台机器上 1.1 Akka RPC通信案例的改造（主要是把一些参数不写是） Master package com._51doit.akka.rpc import akka.actor.{Actor, ActorRef, ActorSystem, Props} 阅读全文

摘要： 1. 模式匹配和样例类 Scala有一个十分强大的模式匹配机制，可以应用到很多场合：如switch语句、类型检查等。并且Scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配 1.1 模式匹配 1.1.1 匹配字符串 object CaseDemo1 extends App { // 继承 阅读全文

摘要： 1. 函数 函数就是一个非常灵活的运算逻辑，可以灵活的将函数传入方法中，前提是方法中接收的是类型一致的函数类型 函数式编程的好处：想要做什么就调用相应的方法（fliter、map、groupBy、sortBy），想要具体怎么做，就传入相应的函数 函数式编程的特点之一就是支持链式编程（不停的函数调用函 阅读全文