vonlinee

摘要： javac 常用参数： -d <directory>：指定输出目录，编译后的 .class 文件将放在该目录中 -classpath <path> 或 -cp <path>：指定类路径，包含其他 .class 文件或库的路径。javac -cp lib/* src/MyClass.java -sou 阅读全文

摘要： 为什么要模块化？ 精简运行时 在JDK 9之前，Java的运行时库（Runtime Library，JRE）包含一个庞大的rt.jar，其大小超过60MB，包含了Java大部分运行时类。随着JDK的发展，JDK增加了许多API，但几乎没有删除任何API，有些类现在己经很少用了，但仍然保留在JRE中， 阅读全文

摘要： Flink下载 https://flink.apache.org/downloads.html 选择与安装的scala兼容的版本，安装的Scala版本是2.11，选择Flink1.9.2即可：https://archive.apache.org/dist/flink/flink-1.9.2/flin 阅读全文

摘要： Maven仓库配置 参考博客：https://www.cnblogs.com/chanshuyi/p/quick-start-of-maven-pull.html MVN工具使用 清理项目并重新安装所有依赖 mvn clean install -U 参数会强制更新所有 SNAPSHOT 版本的依赖 阅读全文

摘要： https://spark.apache.org/docs/latest/index.html 前置环境 JDK：确保安装的JDK版本与Spark兼容（通常建议使用Java 8或Java 11） winutils：如果打算在Windows上运行Spark，尤其是使用Hadoop相关功能，建议下载Wi 阅读全文

摘要： 核心特性 1） 内存计算 Apache Spark在内存中存储中间数据的能力使其处理数据的速度比传统的基于磁盘的系统快得多。 2） 统一分析 Apache Spark提供了一个用于批处理、实时流、机器学习和交互式查询的单一平台，减少了对多种工具的需求。 3） 支持多种语言 Spark支持包括Java 阅读全文

摘要： getResource("...")和getResourceAsStream("...") https://stackoverflow.com/questions/26328040/intellij-idea-getclass-getresource-return-null/65173942#651 阅读全文

摘要： MapReduce 概述 https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html 开始之前，需要确保安装并配置了Hadoop并且 阅读全文

摘要： Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源， 相当于一个分布式 的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 YARN 可以理解为集群的操作系统。集群是一组松散或紧密连接的计算机，它们协同工作，被视为一个单一系统。集群代表着资源的集合，例如计 阅读全文

摘要： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html HDFS概述 https://hadoop.apache.org/docs/stable/hadoop-project 阅读全文