我的随笔

大数据学习day24-------spark07-----1. sortBy是Transformation算子，为什么会触发Action 2. SparkSQL 3. DataFrame的创建 4. DSL风格API语法 5 两种风格（SQL、DSL）计算workcount案例

一y样 2019-12-15 17:33 阅读:626 评论:0 推荐:0

大数据学习day23-----spark06--------1. Spark执行流程（知识补充：RDD的依赖关系）2. Repartition和coalesce算子的区别 3.触发多次actions时，速度不一样 4. RDD的深入理解（错误例子，RDD数据是如何获取的）5 购物的相关计算

一y样 2019-12-11 11:37 阅读:493 评论:0 推荐:0

大数据学习day22------spark05------1. 学科最受欢迎老师解法补充 2. 自定义排序 3. spark任务执行过程 4. SparkTask的分类 5. Task的序列化 6. Task的多线程问题

一y样 2019-12-09 23:47 阅读:308 评论:0 推荐:0

大数据学习day21-----spark04------1. 广播变量 2. RDD中的cache 3.RDD的checkpoint方法 4. 计算学科最受欢迎老师TopN

一y样 2019-12-07 11:26 阅读:382 评论:0 推荐:0

大数据学习day20-----spark03-----RDD编程实战案例（1 计算订单分类成交金额，2 将订单信息关联分类信息，并将这些数据存入Hbase中，3 使用Spark读取日志文件，根据Ip地址，查询地址对应的位置信息

一y样 2019-12-04 11:28 阅读:660 评论:0 推荐:0

大数据学习day19-----spark02-------0 零碎知识点（分区，分区和分区器的区别） 1. RDD的使用（RDD的概念，特点，创建rdd的方式以及常见rdd的算子） 2.Spark中的一些重要概念

一y样 2019-12-01 11:35 阅读:506 评论:0 推荐:0

大数据学习day18----第三阶段spark01--------0.前言（分布式运算框架的核心思想，MR与Spark的比较，spark可以怎么运行，spark提交到spark集群的方式）1. spark(standalone模式)的安装 2. Spark各个角色的功能 3.SparkShell的使用，spark编程入门（wordcount案例）

一y样 2019-11-28 10:38 阅读:318 评论:0 推荐:0

大数据学习day17------第三阶段-----scala05------1.Akka RPC通信案例改造和部署在多台机器上 2. 柯里化方法 3. 隐式转换 4 scala的泛型

一y样 2019-11-26 16:54 阅读:242 评论:0 推荐:0

大数据学习day16------第三阶段-----scala04--------1. 模式匹配和样例类 2 Akka通信框架

一y样 2019-11-24 12:07 阅读:239 评论:0 推荐:0

大数据学习day15----第三阶段----scala03--------1.函数（“_”的使用, 函数和方法的区别）2. 数组和集合常用的方法（迭代器，并行集合） 3. 深度理解函数 4 练习（用java实现类似Scala函数式编程的功能（不能使用Lambda表达式））

一y样 2019-11-22 00:04 阅读:240 评论:0 推荐:0