随笔分类 - 大数据基础知识
摘要:一、集群模式 1、单机模式 2、伪分布式 3、完全分布式 二、zookeeper完全分布式集群的搭建 1、准备虚拟机 2、安装jdk 3、搭建集群 3.1.下载安装包 3.2.集群配置 3.2.1 修改配置文件zoo.cfg 3.2.2 myid 3.2.3.拷贝 4、启动zookeeper 5、测
        阅读全文
                
摘要:前言 一、准备 1、软件及版本 2、服务器 二、Zookeeper完全分布式搭建 三、Hadoop2.0 HA集群搭建步骤 3.1、安装 3.2、配置 3.3、环境变量 3.4、创建文件夹 3.5、拷贝文件&设置环境变量 3.6、Hadoop集群启动 3.7、测试 四、Spark On Yarn搭建
        阅读全文
                
摘要:一、准备 1.1 软件版本 1.2 网络规划 1.3 软件包拷贝 1.4 SSH设置 1.5 绑定IP和修改计算机名 1.5.1 修改/etc/hosts,添加IP绑定,并注释127.0.1.1(不注释会影响hadoop集群) 1.5.2 修改/etc/hostname,为绑定计算机名。(计算机名和
        阅读全文
                
摘要:一 Spark与hadoop 三 Spark的架构详解 四 Spark运行基本流程 五 Spark运行模式 5.1 standalone独立集群运行模式 5.1.1 Standalone的client模式 5.1.2 Standalone的cluster模式 5.1.3 YARN框架原理 5.1.4
        阅读全文
                
 
                    
                
 
         浙公网安备 33010602011771号
浙公网安备 33010602011771号