哦心有

摘要： 今天完成spark实验六 1. 安装 Flume Flume 是 Cloudera 提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。Flume 的核心是把数据从数据源收集过来，再送到目的地。请到 Flume 官网下载 阅读全文

摘要： 今天完成spark基础实验五 一、实验目的 （1）通过实验掌握Spark SQL 的基本编程方法； （2） 熟悉RDD 到DataFrame 的转化方法； （3） 熟悉利用Spark SQL 管理来自不同数据源的数据。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 阅读全文

摘要： 今天完成了spark基础实验四， 一、实验目的 （1） 熟悉Spark 的RDD 基本操作及键值对操作； （2） 熟悉使用RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1. spark-shell 交互式编程 阅读全文

摘要： 今天学习了sparkRDD的一些基本知识。并学习了钉钉直播回放的项目简介。 Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于 处理不同的应用场景。三大数据结构分别是： ➢ RDD : 弹性分布式数据集 ➢ 累加器：分布式共享只写变量 ➢ 广播变量：分布式共享只读变量 阅读全文

摘要： 今天学习mapreduce： 切片与 MapTask 并行度决定机制 1）问题引出 MapTask 的并行度决定 Map 阶段的任务处理并发度，进而影响到整个 Job 的处理速度。 思考：1G 的数据，启动 8 个 MapTask，可以提高集群的并发处理能力。那么 1K 的数 据，也启动 8 个 M 阅读全文

摘要： 今天学习spark的核心组件和概念，明天继续学习spark，尝试做项目 阅读全文

摘要： 今天学习了scala的隐式转换并了解了泛型的上下界规定 阅读全文

摘要： 今天学习了scala集合函数的使用和模式匹配。 总结目前学习的聚合函数方法 集合常用函数：head，tail，last，init，reverse，take，takeRight，drop，dropRight，union，intersect，diff，zip，sliding 集合常用函数：length， 阅读全文

摘要： 今天学习了scala中集合的基本使用。 学习了scala中数组、列表、set、map、tuple的不可变集合和可变集合的基本用法。 明天会学习常用集合函数的使用及scala的模式匹配。 阅读全文

摘要： 今天完成了scala面向对象编程的学习，并学习了scala集合中数组、list等使用。 记录今天学习 Scala 语言中，采用特质 trait（特征）来代替接口的概念，也就是说，多个类具有相同 的特质（特征）时，就可以将这个特质（特征）独立出来，采用关键字 trait 声明。 Scala 中的 tr 阅读全文