随笔分类 -  hadoop

完全分布式配置
摘要：1.core-site.xml <configuration> <!-- 指定文件系统 --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!-- 指定HDFS的数据存储位置 阅读全文
posted @ 2020-05-04 19:50 Tsugar 阅读(224) 评论(0) 推荐(0)
配置阿里云yum源
摘要：1.备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2.下载新的CentOS-Base.repo wget -O /etc/yum.repos.d/CentOS-Base.repo ht 阅读全文
posted @ 2020-05-01 01:55 Tsugar 阅读(1651) 评论(0) 推荐(0)
MapReduce项目实战1
摘要：1.先将Hadoop环境加入到eclipse中 2.生成模拟数据 1 package com.blb.core; 2 3 import java.io.BufferedWriter; 4 import java.io.File; 5 import java.io.FileNotFoundExcept 阅读全文
posted @ 2020-03-08 12:10 Tsugar 阅读(905) 评论(0) 推荐(0)
MapReduce插件安装(eclipse)
摘要：1.下载插件 链接：https://pan.baidu.com/s/1Ds4p5eKWVhOD11D5dbtqNg 提取码：9lu4 2.将 hadoop-eclipse-plugin-2.7.3.jar 放入eclipse文件下的plugins文件夹目录下 3.将hadoopBin.rar解压的文 阅读全文
posted @ 2020-03-06 23:27 Tsugar 阅读(631) 评论(0) 推荐(0)
MapReduce编程模型
摘要：MapReduce 基于HDFS 1.环境搭建起来 伪分布式2.MapReduce是基于HDFS之上的 MapReduce计算的内容应该是HDFS上的文件/文件夹3.计算=>统计=>Mapper阶段=>Reduce阶段 MapReduce的编程模型4.Mapper类 继承Mapper类 重写Mapp 阅读全文
posted @ 2020-03-06 23:05 Tsugar 阅读(148) 评论(0) 推荐(0)
01初步启动Hadoop服务
摘要：1.rz命令将hadoop压缩包上传至Linux服务器中 2.tar -zxvf hadoop-2.7.7.tar.gz(解压即可用） 3.将解压出来的hadoop移到想要放的位置 mv hadoop-2.7.7 ../software 4.配置六个文件 配置文件在etc目录下 1.hadoop-e 阅读全文
posted @ 2020-02-19 22:31 Tsugar 阅读(518) 评论(0) 推荐(0)