导航

随笔分类 -  大数据学习

大数据学习

hadoop完全分布式搭建部署

摘要：1 环境准备 1.1 修改IP 1.2 修改主机名及主机名和IP地址的映射 1.3 关闭防火墙 1.4 ssh免密登录 1.5 安装JDK，配置环境变量 2 集群规划 节点名称 NN JJN DN ZKFC ZK RM NM linux1 NameNode JournalNode DataNode 阅读全文

posted @ 2020-03-24 15:22 蒋翔 阅读(303) 评论(0) 推荐(0)

分布式zookeepr集群搭建

摘要：zookeeper下载:http://mirror.bit.edu.cn/apache/zookeeper/ 不要下载源码的问下 下载bin的文件 源码有时候会找不到类 apache-zookeeper-3.6.0-bin.tar.gz 1.1 集群规划 在linux1,linux2和linux3三 阅读全文

posted @ 2020-03-24 12:24 蒋翔 阅读(353) 评论(0) 推荐(0)

spark 部署环境搭建

摘要：spark下载地址:http://spark.apache.org/downloads.html hadoop下载地址:https://downloads.apache.org/hadoop/common/ 博主spark版本选择的是2.4.5 所以对应的hadoop版本是2.7.7 下载之后直接上 阅读全文

posted @ 2020-03-22 22:35 蒋翔 阅读(4846) 评论(0) 推荐(0)

大数据学习之intellij 安装scala插件

摘要：可以直接在intellij 的plugins 中搜scala 然后install就行 但是如果不能连国外的网,下载速度太慢,下不下来 可以尝试访问 https://plugins.jetbrains.com/plugin/1347-scala 如果也打不开,我用的是intellij 2018 可以用 阅读全文

posted @ 2020-03-15 19:42 蒋翔 阅读(398) 评论(0) 推荐(0)

大数据学习之scala-环境搭建

摘要：scala 下载网站 https://www.scala-lang.org/download/ 安装scala要先安装java,并且配置java环境,官网也有说明 不过国内的网站下载不下来可以访问: http://downloads.typesafe.com/scala/2.13.0/scala-2 阅读全文

posted @ 2020-03-15 18:31 蒋翔 阅读(185) 评论(0) 推荐(0)