随笔分类 -  Hadoop

ZooKeeper安装搭建
摘要：1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz -C/usr/local/soft 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 ex 阅读全文
posted @ 2021-09-23 20:47 lmandcc 阅读(69) 评论(0) 推荐(0)
MapReduce原理深入理解(二)
摘要：1.Mapreduce操作不需要reduce阶段 1 import org.apache.hadoop.conf.Configuration; 2 import org.apache.hadoop.fs.FileSystem; 3 import org.apache.hadoop.fs.Path; 阅读全文
posted @ 2021-09-23 20:25 lmandcc 阅读(170) 评论(0) 推荐(0)
MapReduce原理深入理解(一)
摘要：1.MapReduce概念 1）MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. 2）MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。Reduce阶 阅读全文
posted @ 2021-09-23 00:30 lmandcc 阅读(644) 评论(0) 推荐(1)
HDFS原理深入理解
摘要：1.HDFS概述 1)数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就 是分布式文件管理系统。 2)是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间 阅读全文
posted @ 2021-09-22 20:08 lmandcc 阅读(536) 评论(0) 推荐(0)
HDFS常用API
摘要：在pom.xml中导入依赖包 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --> <dependency> <groupId>org.apache.hadoop</group 阅读全文
posted @ 2021-09-22 18:11 lmandcc 阅读(401) 评论(0) 推荐(0)
HDFS基本命令
摘要：1.创建目录 hadoop dfs -mkdir /data hadoop dfs -mkdir -p /data/data1 创建多级目录 2.查看文件 hadoop dfs -ls / 3.上传文件 hadoop dfs -put /usr/local/data/ /data 4.下载文件 ge 阅读全文
posted @ 2021-09-22 10:05 lmandcc 阅读(360) 评论(0) 推荐(0)
完全分布式Hadoop3.X的搭建
摘要：准备工作以及安装Hadoop之前的操作和Hadoop2.X的安装相同，在我上一篇博客中，这里不做过多介绍 https://www.cnblogs.com/lmandcc/p/15306163.html 1. 写一些关键脚本，利于后续集群使用 1.1集群分发脚本xsync cd /bin/ vim x 阅读全文
posted @ 2021-09-17 21:37 lmandcc 阅读(398) 评论(0) 推荐(0)
完全分布式Hadoop2.X的搭建
摘要：准备工作： 安装jdk 克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】（虚拟机的克隆，前面的博客，三台虚拟机都要开机） 这里我们安装的是Hadoop2.7.6版本：https://hadoop.a 阅读全文
posted @ 2021-09-17 20:30 lmandcc 阅读(255) 评论(0) 推荐(0)