上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 24 下一页
摘要: 完成实验六 内容 (1)通过实验学习日志采集工具 Flume 的安装和使用方法; (2)掌握采用 Flume 作为 Spark Streaming 数据源的编程方法 阅读全文
posted @ 2020-02-06 20:37 互联.王 阅读(86) 评论(0) 推荐(0)
摘要: 今天学习大数据采集和导入 任何完整的数据平台一般都有以下几个过程: 数据采集 数据储存 数据管理 输出处理 数据展现 flume架构 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,F 阅读全文
posted @ 2020-02-06 20:36 互联.王 阅读(84) 评论(0) 推荐(0)
摘要: 今天寒假作业完成实验五 内容 1.Spark SQL 基本操作..........................................................................................................1 2.编程实现将 RDD 阅读全文
posted @ 2020-02-05 20:47 互联.王 阅读(57) 评论(0) 推荐(0)
摘要: 今天学习Spaek框架 上面是SPark集群模式图每个应用程序都拥有自己的Executior。Exrctor为应用程序提供了一个隔离的运行环境。 进行了count()和firsr()的演示 进行了词频统计实验 阅读全文
posted @ 2020-02-05 20:46 互联.王 阅读(87) 评论(0) 推荐(0)
摘要: 完成实验四 内容 (1)熟悉 Spark 的 RDD 基本操作及键值对操作; (2)熟悉使用 RDD 编程解决实际具体问题的方法。 阅读全文
posted @ 2020-02-04 20:19 互联.王 阅读(75) 评论(0) 推荐(0)
摘要: 2020.2。4今天寒假生活学了大数据采集和导入 了解了Flume的相关内容 阅读全文
posted @ 2020-02-04 20:17 互联.王 阅读(97) 评论(0) 推荐(0)
摘要: 完成实验报告三 内容 (1)掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法; (2)熟悉 HDFS 的基本使用方法; (3)掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 阅读全文
posted @ 2020-02-03 20:34 互联.王 阅读(110) 评论(0) 推荐(0)
摘要: 之前已经在老师的引导下配置了一些环境,但还有许多需要的东西需要完善,今天安装了NTP 安装配置了 OPENSSL HDP 学习了大数据访问 SQL引擎层 学习了在eclipse上开发phoenix程序 通过《大数据技术入门》进行的学习 阅读全文
posted @ 2020-02-03 20:32 互联.王 阅读(87) 评论(0) 推荐(0)
摘要: 完成实验二 内容 1.掌握 Scala 语言的基本语法、数据结构和控制结构; 2.掌握面向对象编程的基础知识,能够编写自定义类和特质; 3.掌握函数式编程的基础知识,能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构,熟练使用常用的容器类进行数据; 4.熟练掌握 Scala 的 RE 阅读全文
posted @ 2020-02-02 20:45 互联.王 阅读(99) 评论(0) 推荐(0)
摘要: 2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性,而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS(分布式文件系统) Mapreduce(分布式计算框架) map函数 Reduce (函数) YAR 阅读全文
posted @ 2020-02-02 20:43 互联.王 阅读(79) 评论(0) 推荐(0)
上一页 1 ··· 8 9 10 11 12 13 14 15 16 ··· 24 下一页