摘要：
8、安装 Spark 我们这里就只配置 Yarn 模式的 Spark 集群，若需要 Standalone 模式 和 Local 模式，请参考角标文档 独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其它框架提供资源。这种方式降低了和其它第三方资源框架的耦合性，独立性非常强。 阅读全文
posted @ 2022-05-18 23:37
LoremMoon
阅读(72)
评论(1)
推荐(0)
摘要：
7、安装 Kafka 7.1 集群规划 bigdata101 bigdata102 bigdata103 zk zk zk kafka kafka kafka 7.2 安装 jar 包下载：http://kafka.apache.org/downloads kafka_2.11-2.4.1.tgz 阅读全文
posted @ 2022-05-16 00:12
LoremMoon
阅读(37)
评论(0)
推荐(0)
摘要：
6、安装 HBase 6.1 HBase 安装 首先保证 Zookeeper 集群的正常部署，并启动之：zk.sh start Hadoop集群的正常部署并启动：myhadoop.sh start 上传 hbase-1.3.1-bin.tar.gz 到 /opt/software/ 解压: tar 阅读全文
posted @ 2022-05-15 23:23
LoremMoon
阅读(34)
评论(0)
推荐(0)
摘要：
5、安装 Zookeeper 5.1 分布式安装部署 5.1.1 集群规划 5.1.2 上传 jar 上传 jar 包，此处采用版本 apache-zookeeper-3.5.7-bin.tar.gz 5.1.3 解压 tar zxvf apache-zookeeper-3.5.7-bin.tar. 阅读全文
posted @ 2022-05-15 22:38
LoremMoon
阅读(35)
评论(0)
推荐(0)
摘要：
4、安装 Hive Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 的查询功能。 本质是： 将 HQL 转化为 MapReduce 程序。 Hive 处理的数据存储在 HDFS Hive 分析数据底层的实现是 MapReduce 执行程序运行 阅读全文
posted @ 2022-05-15 22:05
LoremMoon
阅读(77)
评论(0)
推荐(0)
摘要：
4、安装 MySQL 4.1 卸载自带的Mysql-libs（如果之前安装过mysql，要全都卸载掉） sudo rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps 4.2 上传安装包和 JDBC 驱动 到 /op 阅读全文
posted @ 2022-05-15 22:03
LoremMoon
阅读(34)
评论(0)
推荐(0)
摘要：
2、安装 JDK 和 Hadoop 2.1 安装 JDK 2.1.1 卸载 JDK 查看 linux 是否已经安装 JDK # -i ignore 忽略大小写 rpm -qa | grep -i java 如果上个命令执行后有输出，则卸载 sudo rpm -qa | grep -i java | 阅读全文
posted @ 2022-05-14 23:29
LoremMoon
阅读(98)
评论(0)
推荐(0)
摘要：
网络 查看内网IP # 方式一 ip a # 方式二 ifconfig 查看公网IP # 方式一 curl cip.cc # 方式二 curl ifconfig.me SHELL xargs 简介,之所以能用到这个命令,关键是由于很多命令不支持管道(|)来传递参数,而日常工作中有这个必要,所以就有了 阅读全文
posted @ 2022-05-12 13:42
LoremMoon
阅读(135)
评论(0)
推荐(0)
摘要：
1、虚拟机准备 1.1 创建虚拟机 内存设置为2G起步，处理器要求不高设置为1Core，硬盘80G（考虑到未来会有hdfs的存储以及其他数据） 1.2 网络设置 1.2.1 修改ip为静态ip vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="E 阅读全文
posted @ 2022-05-12 00:22
LoremMoon
阅读(161)
评论(0)
推荐(0)
摘要：
@echo off echo 正在清理系统垃圾文件，请稍等! del /f /s /q %systemdrive%\*.tmp del /f /s /q %systemdrive%\*._mp del /f /s /q %systemdrive%\*.gid del /f /s /q %system 阅读全文
posted @ 2022-05-11 21:33
LoremMoon
阅读(197)
评论(0)
推荐(0)
浙公网安备 33010602011771号