摘要：
实验流程 配置 Flume 作为 Spark Streaming 数据源 配置 Flume 的 flume-spark.conf 文件，设置 netcat 源和 avro Sink。 启动 Flume，确保数据能够通过 netcat 源输入，并通过 avro Sink 输出。 编写 Spark St 阅读全文
posted @ 2025-02-16 17:40
欧吼吼
阅读(9)
评论(0)
推荐(0)
摘要：
实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载实验数据集 chapter5-data1.txt，并上传到 HDFS 或本地文件系统中。 spark-shell 交互式编程 启动 spark-shell，加载数据集 chapter5-dat 阅读全文
posted @ 2025-02-16 17:40
欧吼吼
阅读(5)
评论(0)
推荐(0)
摘要：
实验流程 编写独立应用程序实现数据去重 创建 Scala 项目，配置 sbt 构建工具。 编写 Spark 独立应用程序，读取输入文件 A 和 B，创建两个 RDD。 使用 union 操作合并两个 RDD，并通过 distinct 操作去重。 将去重后的结果保存到新文件 C 中。 使用 spark 阅读全文
posted @ 2025-02-16 17:40
欧吼吼
阅读(6)
评论(0)
推荐(0)
摘要：
实验流程 Spark 读取 HDFS 文件 启动 spark-shell，读取 HDFS 中的文件 /user/hadoop/test.txt，并统计文件的行数。 验证统计结果是否正确。 编写独立应用程序 编写一个独立的 Scala 应用程序，读取 HDFS 中的文件 /user/hadoop/te 阅读全文
posted @ 2025-02-16 17:39
欧吼吼
阅读(9)
评论(0)
推荐(0)
摘要：
实验流程 HDFS 常用操作 使用 hadoop 用户名登录 Linux 系统，启动 Hadoop 服务。 在 HDFS 中创建用户目录 /user/hadoop。 在本地文件系统的 /home/hadoop 目录下新建一个文本文件 test.txt，并上传到 HDFS 的 /user/hadoop 阅读全文
posted @ 2025-02-16 17:39
欧吼吼
阅读(4)
评论(0)
推荐(0)
摘要：
实验流程 实验环境准备 确保 Linux 虚拟机（Ubuntu 16.04）已正确安装并配置。 下载 Hadoop 2.7.1 和 Spark 2.1.0 的安装包。 配置 Java 环境变量，确保 Hadoop 和 Spark 能够正常运行。 安装 Hadoop 参考实验指南，完成 Hadoop 阅读全文
posted @ 2025-02-16 17:39
欧吼吼
阅读(9)
评论(0)
推荐(0)
摘要：
实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载 Flume 1.7.0 安装文件，并解压到 /usr/local/flume 目录。 配置 Flume 的环境变量，确保 Flume 能够正常运行。 安装 Flume 参考实验指南，完成 F 阅读全文
posted @ 2025-02-16 17:38
欧吼吼
阅读(8)
评论(0)
推荐(0)
摘要：
实验流程 Scala 语言基础学习 复习了 Scala 语言的基本语法，包括变量定义、数据类型、控制结构（如 if-else、for 循环、while 循环等）。 学习了 Scala 中的面向对象编程基础，包括类的定义、构造方法、继承、特质（Trait）等。 学习了函数式编程的基础知识，包括匿名函数 阅读全文
posted @ 2025-02-16 17:38
欧吼吼
阅读(17)
评论(0)
推荐(0)
摘要：
实验流程 复习 Linux 常用命令 复习了前一天学习的 Linux 常用命令，包括目录切换、文件查看、目录创建、文件复制、重命名、文件编辑、文件属性修改、文件查找、打包和解压缩等操作。 通过实际操作加深了对这些命令的理解和记忆。 深入学习 Linux 系统管理 学习了 Linux 系统的用户和权限 阅读全文
posted @ 2025-02-16 17:37
欧吼吼
阅读(6)
评论(0)
推荐(0)
摘要：
实验流程 使用 netcat 数据源测试 Flume 配置 Flume 的 netcat.conf 文件，设置 netcat 源和 Sink。 在一个终端中启动 Flume。 在另一个终端中使用 telnet localhost 44444 命令连接 Flume。 在 Telnet 终端中输入字符， 阅读全文
posted @ 2025-02-16 17:37
欧吼吼
阅读(14)
评论(0)
推荐(0)
浙公网安备 33010602011771号