hive学习
摘要：什么是hive hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 FaceBook公司在使用Hadoop实现数据分析的时候，发现有个毛病：会做分析的人如业务人员、数据分析师，会用SQL；会用Hadoop实现分布式开发是
阅读全文
posted @ 2023-03-31 07:49
03 2023 档案
Hadoop 学习
摘要：### 关于Hadoop ### Hadoop崩溃集群重启 先停掉进程，sbin/stop-yarn.sh sbin/stop-dfs.sh。然后删除每个集群上datanode的信息。默认在/tmp。如果配置了该目录，就去指定目录删除。data目录和log目录，最后执行格式化namenode for
阅读全文
posted @ 2023-03-26 17:09
Apache Spark学习
摘要：关于Apache Spark 1. 2003-2006年，谷歌发表了Google filesystem、MapReduce、bigtable三篇重量级系统论文，分别讨论了大规模数据如何存储、处理及结构化组织。之后Apache Hadoop社区对这些论文进行了开源实现，开发了hdf分布式文件系统、Ha
阅读全文
posted @ 2023-03-17 17:28
浙公网安备 33010602011771号