随笔分类 -  大数据

HDFS基础（二）shell操作
摘要：Hadoop fs 命令分类： 1、本地-》HDFS： put(从本地文件系统中复制单个或多个源路径到目标文件系统) hadoop fs -put localfile /user/hadoop/hadoopfile copyFromLocal(和put命令相似) hadoop fs -copyFro 阅读全文

posted @ 2020-06-02 22:34 天赋不足勤来补 阅读(89) 评论(0) 推荐(0)

Hadoop环境搭建
摘要：步骤： 一、Java及Hadoop环境安装 1、解压Java和Hadoop安装包 <!--解压Java安装包--> tar -zxvf /opt/software/jdk-8u221-linux-x64.tar.gz -C /opt/module <!--解压Java安装包--> tar -zxvf 阅读全文

posted @ 2020-05-30 20:01 天赋不足勤来补 阅读(204) 评论(0) 推荐(0)

HDFS基础 (一) 概述
摘要：一、HDFS概述 HDFS是分布式文件管理系统。 应用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用于数据分析 二、HDFS组成架构 HDFS由单个namenode和多个datanode组成。 NameNode(nn)：Master——主管、管理者 作用：1）管理HDFS命名空间； 阅读全文

posted @ 2020-05-27 22:02 天赋不足勤来补 阅读(159) 评论(0) 推荐(0)

导航