迷人的字符

摘要： 完成实验六 内容 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法 阅读全文

摘要： 今天学习大数据采集和导入 任何完整的数据平台一般都有以下几个过程： 数据采集 数据储存 数据管理 输出处理 数据展现 flume架构 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，F 阅读全文

摘要： 今天寒假作业完成实验五 内容 1．Spark SQL 基本操作..........................................................................................................1 2．编程实现将 RDD 阅读全文

摘要： 今天学习Spaek框架 上面是SPark集群模式图每个应用程序都拥有自己的Executior。Exrctor为应用程序提供了一个隔离的运行环境。 进行了count（）和firsr（）的演示 进行了词频统计实验 阅读全文

摘要： 完成实验四 内容 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 阅读全文

摘要： 2020.2。4今天寒假生活学了大数据采集和导入 了解了Flume的相关内容 阅读全文

摘要： 完成实验报告三 内容 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 阅读全文

摘要： 之前已经在老师的引导下配置了一些环境，但还有许多需要的东西需要完善，今天安装了NTP 安装配置了 OPENSSL HDP 学习了大数据访问 SQL引擎层 学习了在eclipse上开发phoenix程序 通过《大数据技术入门》进行的学习 阅读全文

摘要： 完成实验二 内容 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 RE 阅读全文

摘要： 2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR 阅读全文