摘要：在此之前,要安装好jdk和Zookeeper集群 安装位置:和Zookeeper安装的机器一样 1.下载安装 在官网下载(最新版本?)(一般不会出现版本兼容问题): kafka_2.12-2.4.1.tgz 上传到虚拟机 解压安装: tar -zxvf /soft/software/kafka_2. 阅读全文

摘要：地址 官网地址: http://spark.apache.org/ 文档查看地址: https://spark.apache.org/docs/2.1.1/ 下载地址: https://spark.apache.org/downloads.html 集群规划 首先我们要确认我们的Linux主机是否安 阅读全文

摘要：零. 相关文件 链接：https://pan.baidu.com/s/1KmfZlxevk07p-_Aosnsm2w 提取码：df5l 一. MapReduce环境配置 1. 解压hadoop 把hadoop的安装包解压到Windows下(这里的安装包就是你搭hadoop集群时的安装包,我的是had 阅读全文

摘要：注：sqoop只需要在namenode下安装即可 版本:Sqoop-1.4.7 1. 下载解压 上官网下载:sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 上传. 解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /so 阅读全文

摘要：安装hive的前提是先安装hadoop集群，并且hive只需要在hadoop的namenode节点中安装即可，可以不在datanode节点的机器上安装，启动hive的前提是需要hadoop在正常跑着 一. 先安装MySQL 1.检查卸载mariadb-lib(Centos自带mariadb数据库) 阅读全文

摘要：这个是在之前的基础上搭建 hadoop完全分布式搭建:https://www.cnblogs.com/Hephaestus/p/12213719.html hadoop高可用搭建:https://www.cnblogs.com/Hephaestus/p/12420370.html 集群规划: nam 阅读全文

摘要：HA+Zookeeper搭建: hadoop完全分布式搭建: https://www.cnblogs.com/Hephaestus/p/12213719.html hadoop高可用搭建: https://www.cnblogs.com/Hephaestus/p/12420370.html Zook 阅读全文

摘要：分布式搭建入口:https://www.cnblogs.com/Hephaestus/p/12213719.html 集群规划: | | namenode | datanode | journalnode | | : : | : : | : : |: : | |hadoop100| 是(nn2) | 阅读全文

摘要：一、虚拟机环境准备 1.克隆虚拟机 2.修改克隆虚拟机的静态IP 3.修改主机名 查看主机名 修改主机名 ( ) 修改linux的主机映射文件（hosts文件） 添加 修改完成后 4.关闭防火墙(centos 7) 查看防火墙状态 停止firewall 禁止firewall开机启动 5.创建bana 阅读全文

摘要：hadoop shell 任意目录下 列出根目录下所有文件和目录 在根目录新建文件夹hadoop1 把本地的文件anaconda ks.cfg上传到hadoop1下 `` `` `` `` `` `` HDFS shell 以下来自链接：https://hadoop.apache.org/docs/ 阅读全文

摘要：1.下载hadoop 2.用ftp上传到CentOS 7 3.解压（安装） 命令： 安装完成 4.配置hadoop evn.sh 首先配置hadoop evn.sh，先进入目录 ,然后编辑 在文件末尾加上 保存 退出 5.验证Hadoop是否可以运行 回到hadoop 2.9.2目录下 输入 6.配 阅读全文

摘要：Hadoop的运行前提是java虚拟机，所以我们需要安装jdk 机器本身没有jdk的需要安装，否则不需要 用 查看 使用find命令查找一下java命令所在的位置： 移除自带 openjdk Hadoop版本为2.9.2，jdk用1.7及之后版本都可以 1.在网上下载jdk压缩包 2.用ftp(或直 阅读全文