随笔分类 -  大数据基础知识

该文被密码保护。
posted @ 2022-05-03 00:46 Laity-J哥 阅读(0) 评论(0) 推荐(0)
摘要:一、集群模式 1、单机模式 2、伪分布式 3、完全分布式 二、zookeeper完全分布式集群的搭建 1、准备虚拟机 2、安装jdk 3、搭建集群 3.1.下载安装包 3.2.集群配置 3.2.1 修改配置文件zoo.cfg 3.2.2 myid 3.2.3.拷贝 4、启动zookeeper 5、测 阅读全文
posted @ 2022-04-25 23:50 Laity-J哥 阅读(341) 评论(0) 推荐(0)
摘要:前言 一、准备 1、软件及版本 2、服务器 二、Zookeeper完全分布式搭建 三、Hadoop2.0 HA集群搭建步骤 3.1、安装 3.2、配置 3.3、环境变量 3.4、创建文件夹 3.5、拷贝文件&设置环境变量 3.6、Hadoop集群启动 3.7、测试 四、Spark On Yarn搭建 阅读全文
posted @ 2022-04-24 21:05 Laity-J哥 阅读(568) 评论(0) 推荐(0)
摘要:一、准备 1.1 软件版本 1.2 网络规划 1.3 软件包拷贝 1.4 SSH设置 1.5 绑定IP和修改计算机名 1.5.1 修改/etc/hosts,添加IP绑定,并注释127.0.1.1(不注释会影响hadoop集群) 1.5.2 修改/etc/hostname,为绑定计算机名。(计算机名和 阅读全文
posted @ 2022-04-24 20:54 Laity-J哥 阅读(558) 评论(0) 推荐(0)
摘要:一 Spark与hadoop 三 Spark的架构详解 四 Spark运行基本流程 五 Spark运行模式 5.1 standalone独立集群运行模式 5.1.1 Standalone的client模式 5.1.2 Standalone的cluster模式 5.1.3 YARN框架原理 5.1.4 阅读全文
posted @ 2022-04-24 20:53 Laity-J哥 阅读(327) 评论(0) 推荐(0)