vonlinee

2025年7月5日

摘要： https://spark.apache.org/docs/latest/index.html 前置环境 JDK：确保安装的JDK版本与Spark兼容（通常建议使用Java 8或Java 11） winutils：如果打算在Windows上运行Spark，尤其是使用Hadoop相关功能，建议下载Wi 阅读全文

posted @ 2025-07-05 20:46 vonlinee 阅读(89) 评论(0) 推荐(0)

Spark基础

摘要：核心特性 1）内存计算 Apache Spark在内存中存储中间数据的能力使其处理数据的速度比传统的基于磁盘的系统快得多。 2）统一分析 Apache Spark提供了一个用于批处理、实时流、机器学习和交互式查询的单一平台，减少了对多种工具的需求。 3）支持多种语言 Spark支持包括Java 阅读全文

posted @ 2025-07-05 19:16 vonlinee 阅读(42) 评论(0) 推荐(0)

为什么Class.getResource("...")返回null

摘要： getResource("...")和getResourceAsStream("...") https://stackoverflow.com/questions/26328040/intellij-idea-getclass-getresource-return-null/65173942#651 阅读全文

posted @ 2025-07-05 12:08 vonlinee 阅读(55) 评论(0) 推荐(0)

2025年7月3日

MapReduce

摘要： MapReduce 概述 https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html 开始之前，需要确保安装并配置了Hadoop并且阅读全文

posted @ 2025-07-03 21:52 vonlinee 阅读(25) 评论(0) 推荐(0)

2025年7月2日

Yarn

摘要： Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 YARN 可以理解为集群的操作系统。集群是一组松散或紧密连接的计算机，它们协同工作，被视为一个单一系统。集群代表着资源的集合，例如计阅读全文

posted @ 2025-07-02 22:24 vonlinee 阅读(42) 评论(0) 推荐(0)

2025年7月1日

HDFS

摘要： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html HDFS概述 https://hadoop.apache.org/docs/stable/hadoop-project 阅读全文

posted @ 2025-07-01 22:49 vonlinee 阅读(34) 评论(0) 推荐(0)

Hadoop安装与部署

摘要：本文记录在Windows下搭建Hadoop 3.3.1环境下载安装Hadoop 所有版本的下载地址：https://archive.apache.org/dist/hadoop/common/ ，本文使用 hadoop 3.3.1版本安装Hadoop native IO binary Linux 阅读全文

posted @ 2025-07-01 22:14 vonlinee 阅读(29) 评论(0) 推荐(0)

公告