05 2022 档案

Hadoop分布式文件系统---HDFS
摘要：1.HDFS的产生背景 数据量的增多，需要有一种系统管理多台机器的文件，于是产生DFS(Distributed File System) 2.HDFS简介 Hadoop项目的核心之一，用于数据存储，HDFS基于GFS开源实现。 3.HDFS优点 ·处理超大文件--MB到TB级（相对应的它不适用于存储 阅读全文
posted @ 2022-05-30 22:47 lbeaner 阅读(150) 评论(0) 推荐(0)
spark安装
摘要：将spark文件上传到Linux并解压缩，使用的版本是spark-3.0.0-bin-hadoop3.2.tgz tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /kkb/softcd /kkb/softmv spark-3.0.0-bin-hadoop3.2 阅读全文
posted @ 2022-05-17 12:03 lbeaner 阅读(31) 评论(0) 推荐(0)