随笔分类 -  hadoop

压缩和SequenceFile存储
摘要：一、压缩 文件的压缩和解压在mapper的输出和reducer的输入阶段，既可以减少存储时间，又能降低网络传输时间。 ·这些算法只有bzip2和lzo支持切分(splitting)。压缩后的大文件若不能切分，则只能作为一个单独的Map输入。 import java.io.File; import j 阅读全文
posted @ 2021-12-09 10:02 shines87 阅读(102) 评论(0) 推荐(0)
MapReduce技术
摘要：一、MapReduce工作原理 - 基本概念 ·yarn操作系统基本组成 Resource Manager(资源调度)、Application Manager(任务调度)、NodeManage(对datanode计算资源)和 container(消息交互的资源描述)。 ·client(客户端)向ya 阅读全文
posted @ 2021-12-09 10:02 shines87 阅读(93) 评论(0) 推荐(0)
三种环境下的hdfs运行
摘要：一、在centos7上运行 ·运行hdfs：首先创建一个用以运行hadoop程序的工作目录hadoop-test 在hadoop-env.sh里添加 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/xu/hadoop-2.6.5/hadoop-test 阅读全文
posted @ 2021-12-09 10:02 shines87 阅读(136) 评论(0) 推荐(0)
hadoop集群配置
摘要：解压： tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr 和 tar -zxvf hadoop-2.6.5.tar.gz –C /home/xu 务必设定好解压目录。 tar -zxvf:参数z代表调用gzip压缩，v代表显示详细解压过程，x代表解压文件参数指 阅读全文
posted @ 2021-12-09 10:01 shines87 阅读(43) 评论(0) 推荐(0)
Hadoop的启动和测试
摘要：一、Hadoop的启动和测试 首先在node上进入hadoop安装目录 cd /home/xu/hadoop-2.6.5/ ·格式化文件系统：新买的硬盘格式化为NTFS、FAT32等文件系统，hadoop则在namenode上格式化为hdfs文件系统。 执行 bin/hdfs namenode -f 阅读全文
posted @ 2021-12-09 10:01 shines87 阅读(490) 评论(0) 推荐(0)
实验准备
摘要：实验环境：VMware-15.exe(这需要激活码)、centos(阿里旧版下载)。安装时自定义安装，选择linux下对应centos版本， 在虚拟机设置中选择NAT连网、CD/DVD下选择ISO镜像文件，之后最小安装并设定用户名与密码。 一、用户名和主机名 ·首先 sudo passwd 设定ro 阅读全文
posted @ 2020-06-02 19:33 shines87 阅读(17) 评论(0) 推荐(0)