随笔分类 -  hadoop

摘要:一、搭建准备环境 在搭建 和`SparkSql HDFS Spark`相关环境 这里使用 和`Spark`进行整合的目的主要是: 1、使用 对`SparkSql SparkSql Hive 元数据管理 Hive`的元数据管理这一套内容 2、单独使用 的话速度太慢,所以在前期就打算切换到 ,然后使用了 阅读全文
posted @ 2019-11-21 16:57 墨迹塔 阅读(2876) 评论(0) 推荐(2)
摘要:一、前言 —— 基础环境准备 | 节点名称 | IP | NN | DN | JNN | ZKFC | ZK | RM | NM | Master | Worker | | : : | : : | : : | : : | : : | : : | : : | : : | : : | : : | : : 阅读全文
posted @ 2019-11-20 18:19 墨迹塔 阅读(638) 评论(0) 推荐(0)
摘要:hadoop安装集合教程 一、伪分布式系统搭建 jdk安装 配置在环境变量配置 配置免密登录: 在做免密登录的时候需要集群中的所有节点之间互相之间进行免密,同时还需要自身和自身进行免密登录(master)节点 解压 配置 环境变量 配置 文件中的 JAVA_HOME 进行 相关配置 hostname 阅读全文
posted @ 2019-04-07 21:45 墨迹塔 阅读(398) 评论(0) 推荐(1)