摘要：
下载nginx和tomcat的镜像信息 docker pull nginx docker pull tomcat 创建nginx和tomcat需要挂载的目录 mkdir -p /bigdata/install/nginx/www /bigdata/install/nginx/conf/ /bigda 阅读全文
摘要：
1.卸载系统自带的docker软件 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-log 阅读全文
摘要：
自定义分区 我们在wordcount小案例中看到结果是1个part-r-000000的文件，那如果我想对统计结果， 按照不同的条件输出到不同的文件(分区)，那该如何处理呢？ 我们梳理一下这个过程先 一个文本文件，上传到hdfs后以block块存储，split到切片，一个切片对应一个maptask任务 阅读全文
摘要：
上次我们做了简单的一个wordcount案例，下边我们在做一个复杂一点的小案例。 例如传输一个对象到wordcount中，输入数据格式如下： 3 12939234290 120.156.21.100 www.baidu.com 116 125 200 id 手机号码 网络ip 网址 下载流量 上传流 阅读全文
摘要：
接上回我们谈的hdfs api相关的操作，我们来先跑一个小案例，后边详细说mapreduce和yarn的原理。 打开idea新建一个maven工程，pom文件中添加项目依赖如下： <dependencies> <dependency> <groupId>org.apache.hadoop</grou 阅读全文
摘要：
环境变量准备 在~/.bash_profile下配置了环境变量相关的路径信息，比如$HOME/bin路径。就是说会把$HOME/bin目录下的命令添加到环境变量中去。 # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc 阅读全文
摘要：
变量命名 定义变量时，变量名不加美元符号（$） 注意，变量名和等号之间不能有空格，同时，变量名的命名须遵循如下规则： 命名只能使用英文字母，数字和下划线，首个字符不能以数字开头。 中间不能有空格，可以使用下划线（_）。 不能使用标点符号。 不能使用bash里的关键字（可用help命令查看保留关键字） 阅读全文
摘要：
HDFS shell API HDFS作为大数据的文件系统，可以放置数据文件，列举几个常用的shell脚本命令， 用法和linux中的基本类似，不过这个是hadoop里的一套，所以我们要用hadoop fs开头 具体可以使用hadoop fs --help 查看帮助信息 例如： ls hadoop 阅读全文
摘要：
hadoop HA高可用搭建 接上回hadoop概述二，我们了解到了hdfs有弊端，需要搭建HA，通过官网查看有2中方式进行高可用。一种基于QJM方式的，另一种基于联邦的， 我们今天先来使用QJM方案来做hadoop的高可用，使用4台服务器来做集群，还会用到zookeeper来做主备切换的调控 先说 阅读全文
摘要：
hadoop 概述一，已经写了hdfs的一些基本概念，那作为分布式文件系统，是怎么进行读写的？下边讲述hdfs的读写流程 HDFS中读写流程中有一些额外的小的概念，下面讲述一下 block blokc块，一般是128M，可以修改大小，但不推荐，原因如下： 如果块设置过大， 一方面，从磁盘传输数据的时 阅读全文