随笔分类 -  HADOOP

分布式的一些概念
摘要：一、分布式架构 1）集中式：指由一台或者多台主计算机组成的中心节点，数据其中存储在这个中心节点中，并且整个业务单元都集中部署在这个中心节点上，系统的所有功能均由其集中处理。但是由于采用单机部署，难于维护，容易发生单点故障，扩展性差； 2）分布式：一个硬件或者软件分布在不同的网络计算机上，彼此之间仅仅 阅读全文
posted @ 2021-12-11 23:54 Shydow 阅读(748) 评论(0) 推荐(0)
CDH6.2开启Kerberos认证
摘要：一、配置KDC服务 由于使用的是内网机器，这里使用rpm包安装。需要的rpm包括： 服务端：krb5-server， krb5-workstation， krb5-libs，libkadm5 客户端：krb5-workstation， krb5-libs，libkadm5 下载地址：http://m 阅读全文
posted @ 2021-12-05 01:15 Shydow 阅读(963) 评论(0) 推荐(0)
Hadoop的组成以及各组件概述
摘要：一、HADOOP核心模块 HDFS：高吞吐量的分布式文件系统 YARN：用于任务调度和集群资源管理的框架 MapReduce：基于yarn只上，并行处理计算引擎 二、HDFS分布式文件存储系统 特性 1、主从架构：一般情况下HDFS集群有一个NameNode和多个DataNode组成，NameNod 阅读全文
posted @ 2021-11-30 16:30 Shydow 阅读(769) 评论(0) 推荐(0)
Hadoop小文件影响及解决
摘要：一、小文件产生的原因 当文件的大小远远小于HDFS block块的大小（hadoop2：128m）就可以当作是一个小文件；具体产生的原因包括一下： 1）实时计算时，如果窗口开的小，在hdfs上会产生很多小文件 2）离线计算，批处理时，在spark或者mr时，没有设置好partition或者reduc 阅读全文
posted @ 2021-11-26 15:14 Shydow 阅读(1353) 评论(0) 推荐(0)