摘要： 基于Hadoop集群的spark2.0集群部署 安装Hadoop并搭建好Hadoop集群环境 Spark分布式集群的安装环境，需要事先配置好Hadoop的分布式集群环境。如果没有配置好Hadoop的分布式集群环境，请点击Hadoop 2.7分布式集群环境搭建，根据教程进行安装。（备注：本教程采用Sp 阅读全文

摘要： 基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导 阅读全文

摘要： 环境搭建--基于Hadoop的数据仓库Hive 一、安装hive 1. 下载并解压hive源程序 shell命令: tar -zxvf apache-hive-2.3.8-bin.tar.gz -C /[解压到的目录] 2. 配置环境变量 vi /etc/profile.d/my_env.sh #添 阅读全文

摘要： 完全分布式搭建 1.0修改IP 命令： vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改 BOOTPROTO="static" IPADDR=IP地址 GATEWAY=网关 DNS1=网关 1.1修改主机名 命令： vi /etc/hostname / 阅读全文

摘要： kafka组件的部署 1.0 部署Kafka之前必须先安装zookeeper 1.0.1 zookeeper的安装 1.0.1.0 先去官网下载zookeeper 网址:https://downloads.apache.org/zookeeper/ 1.0.1.2 下载好放在一台zookeeper服 阅读全文

摘要： 完全分布式搭建 1.0修改IP 命令： vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改 BOOTPROTO="static" IPADDR=IP地址 GATEWAY=网关 DNS1=网关 1.1修改主机名 命令： vi /etc/hostname / 阅读全文