放下包袱，继续前行！

摘要： 1、基本语法 bin/hadoop fs 具体命令 或者 bin/hdfs dfs 具体命令 dfs 是 fs 的实现类。 2、命令大全 3、常用命令操作 1）-help：输出这个命令参数 2）-ls：显示目录信息 3）-mkdir：在HDFS上创建目录 4）-moveFromLocal：从本地剪切 阅读全文

摘要： 一、HDFS产生背景及定义 1、HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2、HDFS定义 HDFS（ 阅读全文

摘要： 一、过程分析 1、准备3台客户机（关闭防火墙、修改静态ip、主机名称） 2、安装JDK 3、配置环境变量 4、安装Hadoop 5、配置集群 6、单点启动 7、配置ssh免密登录 8、群起并测试集群 二、编写集群分发脚本 xsync 1、scp（secure copy）安全拷贝 1）scp定义 sc 阅读全文

摘要： Hadoop运行模式包括：本地模式、伪分布式以及完全分布式模式。 一、本地运行模式 1、官方Grep案例 1）在hadoop-2.7.2目录下创建一个 input 文件夹 2）将hadoop的xml配置文件复制到 input 3）执行share 目录下的MapReduce 程序 4）查看输出结果 2 阅读全文

摘要： 一、虚拟机环境准备 1、克隆虚拟机 2、修改克隆虚拟机静态IP 3、修改主机名 4、关闭防火墙 5、创建hadoop用户 6、配置hadoop用户具有root权限 7、在/opt 目录下创建文件夹 1）在/opt 目录下创建module、software文件夹 2）修改module、software 阅读全文

摘要： 一、Hadoop是什么 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）Hadoop主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念-Hadoop生态圈。 二、Hadoop发展历史 1）Lucene框架是Doug C 阅读全文

摘要： 一、介绍 服务（service）本质就是进程，但是是运行在后台的，通常都会监听某个端口，等待其他程序的请求，比如（mysql，sshd，防火墙等），因此又称为守护进程。 二、service 管理指令 service 服务名 [ start | stop | restart | reload | st 阅读全文

摘要： 一、Linux的进程 1、在Linux中，每个执行的程序（代码）都称为一个进程。每个进程都分配一个ID号。 2、每个进程都会对应一个父进程，而这个父进程可以复制多个子进程。 3、每个进程都可能以两种方式存在：前台与后台，所谓前台进程就是用户目前的屏幕上可以进行操作的。后台进程则是实际在操作，但由于屏 阅读全文

摘要： 一、磁盘情况查询 1、查看磁盘整体情况 命令：df 参数： -a：列出所有的文件系统，包括系统特有的/proc等文件系统 -k：以KB的容量显示各文件系统 -m：以MB的容量显示各文件系统 -h：以人们较易阅读的GB,MB,KB等格式自行显示 -H：以M=1000K替代M=1024K的进位方式 -T 阅读全文

摘要： 一、基础知识 1、磁盘分区 磁盘的分区主要分为基本分区（primary partion）和扩充分区（extension partion）两种，基本分区和扩充分区的数目之和不能大于四个。且基本分区可以马上被使用但不能再分区。扩充分区必须再进行分区后才能使用，也就是说它必须还要进行二次分区。那么由扩充分 阅读全文