摘要： Hadoop mapreduce 计算 hdfs 存储 安装 node02 mysql (node01)环境 mapreduce 环境 hdfs 环境 解压: tar -zxvf apache-hive-xxx.tar.gz -C /opt/bigdata/ 改名 mv apache-hive-xx 阅读全文

摘要： 1.Hive产生的原因 方便对文件及数据的元数据进行管理，提供统一的元数据管理方式 提供更加简单的方式来访问大规模的数据集，使用SQL语言进行数据分析 2.Hive是什么？ Apache官网：The Apache Hive ™ data warehouse software facilitates 阅读全文

摘要： HDFS基本命令 创建文件夹 hdfs dfs -mkdir -p /data/dist1 上传文件 hdfs dfs -put dist.txt /data/dist1 查看目录下有哪些文件 hdfs dfs -ls -R /data/topn 查看具体的文件 hdfs dfs -cat /dat 阅读全文

摘要： 使用idea操作mapreduce。进行计算 在文章: HADOOP之HDFS用idea操作(五) 基础之上进行 引入mapred-site.xml、yarn-site.xml 因是root启动，所以需要修改hdfs-site.xml <property> <name>dfs.ha.fencing. 阅读全文

摘要： 在HDFS环境基础上增加MapReduce计算程序 之前的HDFS环境不变 使用root来启动程序 环境搭建布局 节点 NN JNN DN ZKFC ZK RM NM node01 √ √ √ node02 √ √ √ √ √ √ node03 √ √ √ √ √ node04 √ √ √ √ no 阅读全文

摘要： 使用idea操作HDFS、创建文件、上传文件、获取块信息、下载文件 1.搭建maven工程 2.pom依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupI 阅读全文

摘要： hdfs是一个文件系统 类unix、linux 有用户概念 hdfs没有相关命令和接口去创建用户 信任客户端 <- 默认情况使用的 操作系统提供的用户 有超级用户的概念 linux系统中超级用户：root hdfs系统中超级用户： 是namenode进程的启动用户 有权限概念 hdfs的权限是自己控 阅读全文

摘要： HDFS完整集群搭建思路 节点 NN JNN DN ZKFC ZK node01 √ √ √ node02 √ √ √ √ √ node03 √ √ √ node04 √ √ 说明： JNN代替了伪分布式(单机)的SNN 流程 基础设施 ssh免密(免密原因:) 1）启动start-dfs.sh脚本 阅读全文

摘要： 前提：四台机器都要有java环境、hadoop环境、node01: cd $HADOOP/etc/hadoop #NN角色 vi core-site.xml 不需要改 # 配置HDFS 副本数为2 nn目录 dn目录 secondary_namenode启动节点以及目录 vi hdfs-site.x 阅读全文

摘要： 单机环境搭建 安装 mkdir /opt/bigdata tar xf hadoop-2.6.5.tar.gz mv hadoop-2.6.5 /opt/bigdata/ pwd /opt/bigdata/hadoop-2.6.5 vi /etc/profile export JAVA_HOME=/ 阅读全文