2020年4月13日
HDFS相关概念
摘要： HDFS相关概念 Block是什么 1. Block是HDFS中数据存储的基本单位，即一个文件在HDFS中是由一个或者多个Block构成 2. Block的大小默认是128M，通过dfs.blocksize(hdfs-site.xml)来调节大小，单位是字节 3. 如果一个文件本身不到一个Block 阅读全文
posted @ 2020-04-13 17:12 Spaaacer 阅读(464) 评论(0) 推荐(0)
Hadoop 伪分布式环境搭建，基本操作，Java调用api
摘要： HDFS 伪分布式快速搭建 首先打开vmware，新建3台虚拟机，使用xshell连接并将键入指令发送给所有会话 1.关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2.关闭SELinux vim /etc/selinux/con 阅读全文
posted @ 2020-04-13 16:33 Spaaacer 阅读(479) 评论(0) 推荐(0)
Hadoop 概述
摘要： 大数据概述 Hadoop是Apache提供的一套开源的、可靠的、可扩展(可伸缩)的、用于分布式计算的框架1. HDFS是Hadoop提供的一套用于进行分布式存储的文件系统​2. HDFS为了方便使用，仿照Linux设计了文件存储系统​3. HDFS的基本是结构是典型的主从结构：NameNode(主) 阅读全文
posted @ 2020-04-13 10:50 Spaaacer 阅读(319) 评论(0) 推荐(0)