摘要: 一、安装kafka(单机版) 2、修改server.properties文件 3、配置jdk环境 jdk下载地址:https://www.oracle.com/java/technologies/downloads/ 4、启动zookeeper 5、启动kafka 6、加入开机自启动 创建kafka 阅读全文
posted @ 2021-12-06 15:56 doublexi 阅读(4270) 评论(0) 推荐(0) 编辑
摘要: 参考:https://blog.csdn.net/Phplayers/article/details/100901352php5.6安装参考:https://www.cnblogs.com/EasonJim/p/9614577.html注意:记得去掉--enablerepo=remi,直接使用--e 阅读全文
posted @ 2021-12-06 15:05 doublexi 阅读(1821) 评论(0) 推荐(0) 编辑
摘要: 以虚拟机为例1、在虚拟机上添加新磁盘,点击虚拟机→设置->添加,最后如下图。2、进入系统fdisk -l,查看当前磁盘信息[root@master shell]# fdisk -l Disk /dev/sda: 10.7 GB, 10737418240 bytes, 20971520 sectors 阅读全文
posted @ 2021-12-06 14:46 doublexi 阅读(588) 评论(0) 推荐(0) 编辑
摘要: 有些场景,我们需要在服务器上插入U盘,但是现在的U盘或者移动硬盘,大多都是exFat格式的,有时候linux系统识别不了,可以按照以下方式挂载。 1、安装nux repo(可以不装) 2、安装fuse包 3、插u盘,fdisk -l 看看u盘是否读取成功 4、挂载 挂载成功,可以开始使用了。 阅读全文
posted @ 2021-12-06 14:20 doublexi 阅读(2555) 评论(0) 推荐(0) 编辑
摘要: 一、下载安装:1、下载:官网下载地址:https://www.postgresql.org/download/linux/redhat/也可以用这个:https://www.enterprisedb.com/download-postgresql-binaries从上述地址可以看到,其实官方从11开 阅读全文
posted @ 2021-12-03 16:36 doublexi 阅读(1475) 评论(0) 推荐(0) 编辑
摘要: Hive on Spark 官网详情:https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started参考:https://www.cnblogs.com/wh984763176/p/13503875.h 阅读全文
posted @ 2021-12-03 15:51 doublexi 阅读(6879) 评论(0) 推荐(1) 编辑
摘要: Hive部署规划: MySQL安装 0 or LOW 仅需需符合密码长度(由参数validate_password_length【默认为8】指定) 1 or MEDIUM 满足LOW策略,同时需满足至少有1个数字,小写字母,大写字母和特殊字符 2 or STRONG 满足MEDIUM策略,同时密码不 阅读全文
posted @ 2021-12-03 09:16 doublexi 阅读(2483) 评论(0) 推荐(0) 编辑
摘要: 在前面我们已经准备了三台服务器,并做好初始化,配置好jdk与免密登录等。并且已经安装好了hadoop集群。 如果还没有配置好的,参考我前面两篇博客: Spark集群环境搭建——服务器环境初始化:https://www.cnblogs.com/doublexi/p/15623436.html Spar 阅读全文
posted @ 2021-11-30 16:25 doublexi 阅读(3802) 评论(0) 推荐(0) 编辑
摘要: Spark其实是Hadoop生态圈的一部分,需要用到Hadoop的HDFS、YARN等组件。为了方便我们的使用,Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包,解压开箱即可使用,给我们提供了很大的方便。如果我们只是本地学习的spark,又不想搭建复杂的hadoop集 阅读全文
posted @ 2021-11-30 14:43 doublexi 阅读(1640) 评论(0) 推荐(2) 编辑
摘要: Spark也是属于Hadoop生态圈的一部分,需要用到Hadoop框架里的HDFS存储和YARN调度,可以用Spark来替换MR做分布式计算引擎。接下来,讲解一下spark集群环境的搭建部署。一、集群规划我们这里使用三台Linux服务器来搭建一个Spark集群。各个组件的分布规划如下: 二、服务器环 阅读全文
posted @ 2021-11-30 11:21 doublexi 阅读(1131) 评论(0) 推荐(1) 编辑