摘要：
Spark入门 1. 课程目标 2 1.1. 目标1：熟悉Spark相关概念 2 1.2. 目标2：搭建Spark集群 2 1.3. 目标3：编写简单的Spark应用程序 2 2. Spark概述 2 2.1. 什么是Spark（官网：http://spark.apache.org） 2 2.2. 阅读全文
posted @ 2020-10-19 11:10
十一vs十一
阅读(193)
评论(0)
推荐(0)
摘要：
Spark计算模型 1. 课程目标 1.1. 熟练使用RDD的算子完成计算 1.2. 掌握RDD的原理 2. 弹性分布式数据集RDD 2.1. RDD概述 2.1.1. 什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象 阅读全文
posted @ 2020-10-19 11:08
十一vs十一
阅读(103)
评论(0)
推荐(0)
摘要：
Spark Streaming 1. 课程目标 1.1. 掌握Spark Streaming的原理 1.2. 熟练使用Spark Streaming完成流式计算任务 2. Spark Streaming介绍 2.1. Spark Streaming概述 2.1.1. 什么是Spark Streami 阅读全文
posted @ 2020-10-19 10:08
十一vs十一
阅读(112)
评论(0)
推荐(0)
摘要：
Spark SQL and DataFrame 1. 课程目标 1.1. 掌握Spark SQL的原理 1.2. 掌握DataFrame数据结构和使用方式 1.3. 熟练使用Spark SQL完成计算任务 2. Spark SQL 2.1. Spark SQL概述 2.1.1. 什么是Spark S 阅读全文
posted @ 2020-10-19 10:03
十一vs十一
阅读(141)
评论(0)
推荐(0)
摘要：
IntelliJ Idea 常用快捷键列表 Ctrl+Alt+t 选择代码块 try catch Alt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set 阅读全文
posted @ 2020-10-19 09:32
十一vs十一
阅读(98)
评论(0)
推荐(0)
摘要：
Scala编程实战 1. 课程目标 1.1. 目标：熟练使用Scala编写程序 2. 项目概述 2.1. 需求 目前大多数的分布式架构底层通信都是通过RPC实现的，RPC框架非常多，比如前我们学过的Hadoop项目的RPC通信框架，但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的，在某 阅读全文
posted @ 2020-10-19 09:30
十一vs十一
阅读(94)
评论(0)
推荐(0)
摘要：
Scala高级特性 1. 课程目标 1.1. 目标一：深入理解高阶函数 1.2. 目标一：深入理解隐式转换 2. 高阶函数 2.1. 概念 Scala混合了面向对象和函数式的特性，我们通常将可以做为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，高阶函数包含：作为值的函数、 阅读全文
posted @ 2020-10-19 09:29
十一vs十一
阅读(101)
评论(0)
推荐(0)
摘要：
Scala Actor 1. 课程目标 1.1. 目标一：熟悉Scala Actor并发编程 1.2. 目标二：为学习Akka做准备 注：我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。 Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor 阅读全文
posted @ 2020-10-19 09:27
十一vs十一
阅读(115)
评论(0)
推荐(0)
摘要：
Scala编程 1. 课程目标 2 1.1. 目标1：（初级）熟练使用scala编写Spark程序 2 1.2. 目标2：（中级）动手编写一个简易Spark通信框架 3 1.3. 目标3：（高级）为阅读Spark内核源码做准备 4 2. Scala概述 4 2.1. 什么是Scala 4 2.2. 阅读全文
posted @ 2020-10-19 09:25
十一vs十一
阅读(198)
评论(0)
推荐(0)
摘要：
问题： 1，kafka+storm如何保证消息完整处理。 一条消息产生 Kafka--KafkaSpout-Storm >Redis 问题1：kafka数据生产消费如何保证消息的完整处理 Producer-batch(缓存机制queue)--重试机制 >ack(-1,1,0) Broker(part 阅读全文
posted @ 2020-10-19 09:21
十一vs十一
阅读(108)
评论(0)
推荐(0)
浙公网安备 33010602011771号