摘要: 1、基本语法 bin/hadoop fs 具体命令 或者 bin/hdfs dfs 具体命令 dfs 是 fs 的实现类。 2、命令大全 3、常用命令操作 1)-help:输出这个命令参数 2)-ls:显示目录信息 3)-mkdir:在HDFS上创建目录 4)-moveFromLocal:从本地剪切 阅读全文
posted @ 2018-11-08 21:35 一江春水向东流^_^ 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 一、HDFS产生背景及定义 1、HDFS产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2、HDFS定义 HDFS( 阅读全文
posted @ 2018-11-08 20:36 一江春水向东流^_^ 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 一、过程分析 1、准备3台客户机(关闭防火墙、修改静态ip、主机名称) 2、安装JDK 3、配置环境变量 4、安装Hadoop 5、配置集群 6、单点启动 7、配置ssh免密登录 8、群起并测试集群 二、编写集群分发脚本 xsync 1、scp(secure copy)安全拷贝 1)scp定义 sc 阅读全文
posted @ 2018-11-05 23:10 一江春水向东流^_^ 阅读(393) 评论(0) 推荐(0) 编辑
摘要: Hadoop运行模式包括:本地模式、伪分布式以及完全分布式模式。 一、本地运行模式 1、官方Grep案例 1)在hadoop-2.7.2目录下创建一个 input 文件夹 2)将hadoop的xml配置文件复制到 input 3)执行share 目录下的MapReduce 程序 4)查看输出结果 2 阅读全文
posted @ 2018-11-04 22:15 一江春水向东流^_^ 阅读(828) 评论(0) 推荐(1) 编辑
摘要: 一、虚拟机环境准备 1、克隆虚拟机 2、修改克隆虚拟机静态IP 3、修改主机名 4、关闭防火墙 5、创建hadoop用户 6、配置hadoop用户具有root权限 7、在/opt 目录下创建文件夹 1)在/opt 目录下创建module、software文件夹 2)修改module、software 阅读全文
posted @ 2018-11-04 17:21 一江春水向东流^_^ 阅读(224) 评论(0) 推荐(0) 编辑
摘要: 一、Hadoop是什么 1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2)Hadoop主要解决,海量数据的存储和海量数据的分析计算问题。 3)广义上来说,Hadoop通常是指一个更广泛的概念-Hadoop生态圈。 二、Hadoop发展历史 1)Lucene框架是Doug C 阅读全文
posted @ 2018-11-04 15:43 一江春水向东流^_^ 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 一、介绍 服务(service)本质就是进程,但是是运行在后台的,通常都会监听某个端口,等待其他程序的请求,比如(mysql,sshd,防火墙等),因此又称为守护进程。 二、service 管理指令 service 服务名 [ start | stop | restart | reload | st 阅读全文
posted @ 2018-11-03 12:46 一江春水向东流^_^ 阅读(190) 评论(0) 推荐(0) 编辑
摘要: 一、Linux的进程 1、在Linux中,每个执行的程序(代码)都称为一个进程。每个进程都分配一个ID号。 2、每个进程都会对应一个父进程,而这个父进程可以复制多个子进程。 3、每个进程都可能以两种方式存在:前台与后台,所谓前台进程就是用户目前的屏幕上可以进行操作的。后台进程则是实际在操作,但由于屏 阅读全文
posted @ 2018-11-03 11:21 一江春水向东流^_^ 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 一、磁盘情况查询 1、查看磁盘整体情况 命令:df 参数: -a:列出所有的文件系统,包括系统特有的/proc等文件系统 -k:以KB的容量显示各文件系统 -m:以MB的容量显示各文件系统 -h:以人们较易阅读的GB,MB,KB等格式自行显示 -H:以M=1000K替代M=1024K的进位方式 -T 阅读全文
posted @ 2018-10-18 22:59 一江春水向东流^_^ 阅读(32179) 评论(0) 推荐(1) 编辑
摘要: 一、基础知识 1、磁盘分区 磁盘的分区主要分为基本分区(primary partion)和扩充分区(extension partion)两种,基本分区和扩充分区的数目之和不能大于四个。且基本分区可以马上被使用但不能再分区。扩充分区必须再进行分区后才能使用,也就是说它必须还要进行二次分区。那么由扩充分 阅读全文
posted @ 2018-10-16 22:44 一江春水向东流^_^ 阅读(351) 评论(0) 推荐(0) 编辑