随笔分类 -  大数据

Spark简单集群搭建
摘要：1． 上传spark-2.2.0-bin-hadoop2.7.tgz安装包到/home/dtouding目录下 2． 解压安装包到/bigdata/目录下，tar –zxvf spark-2.2.0-bin-hadoop2.7.tgz –C /bigdata/ 3． 修改配置文件： 1) mv sp 阅读全文
posted @ 2019-04-13 15:36 孤剑者 阅读(350) 评论(0) 推荐(0)
HDFS集群安装部署
摘要：准备环境： 三台centos7虚拟机（Node-1，Node-2，Node-3） 配置虚拟机网络，保证三台机器可以互相ping通，并且和宿主机可以互相ping通。如果仅仅是作为虚拟机学习，可以关闭防火墙，避免后面的RPC端口或者web端口无法正常访问。 创建普通用户dtouding 安装jdk环境。 阅读全文
posted @ 2019-03-07 20:34 孤剑者 阅读(3360) 评论(0) 推荐(0)