大数据 - 随笔分类 - 珍珠奶茶不加糖

Hadoop基础之MapReduce中Shuffle

摘要：Hadoop基础之MapReduce中Shuffle Hadoop基础之MapReduce中Shuffle shuffle maptask：map端可以执行的一个进程 reducetask：reduce端可以执行的一个进程 shuffle是介于maptask和reducetask之间的一个过程 sh 阅读全文

posted @ 2020-11-13 15:02 珍珠奶茶不加糖阅读(285) 评论(0) 推荐(0)

Hadoop基础之MapReduce词频分析

摘要：Hadoop基础之MapReduce词频分析 Hadoop基础之MapReduce词频分析需求把需要的数据分离出来确定key和value 确定泛型代码 App类 package mapReduce.phoneTraffic.testOne.app; import mapReduce.comm 阅读全文

posted @ 2020-11-13 14:54 珍珠奶茶不加糖阅读(190) 评论(0) 推荐(0)

Hadoop基础之MapReduce

摘要：Hadoop基础之MapReduce Hadoop基础之MapReduce MapReduce MapReduce是hadoop中的一个非常重要的组件，用来处理海量数据计算的组件由来：谷歌论文"MapReduce" 从论文的角度分析：MapReduce是一种思想从技术的角度分析：MapReduc 阅读全文

posted @ 2020-11-13 14:52 珍珠奶茶不加糖阅读(141) 评论(0) 推荐(0)

Hadoop基础之新节点的服役与旧节点的退役

摘要：Hadoop基础之新节点的服役与旧节点的退役 Hadoop基础之新节点的服役与旧节点的退役修改节点之停止服务修改停止服务配制ssh免密登录修改同步脚本修改hosts文件修改slaves文件格式化重新启动服务修改节点之热部署修改服役新节点创建一个新节点、修改IP、主机名配制ss 阅读全文

posted @ 2020-11-13 14:50 珍珠奶茶不加糖阅读(160) 评论(0) 推荐(0)

Hadoop基础之机架感知

摘要：Hadoop基础之机架感知 Hadoop基础之机架感知什么是机架感知机架：存放服务器的架子，也叫机柜。一般来说一个机房有很多机柜，每个机柜有很多服务器感知策略 Hadoop1版本客户端依据最近空闲原则选择一个节点，在不同机架上选择第二个节点，在第二个节点的同机架下选择第三个节点 Hadoop 阅读全文

posted @ 2020-11-13 14:49 珍珠奶茶不加糖阅读(661) 评论(0) 推荐(0)

Hadoop基础之HDFS

摘要：HDFS Hadoop基础之HDFS 什么是HDFS Hadoop Distributed File System hadoop的分布式文件系统文件系统：个人理解：在磁盘(只能做存储)的基础上，使用软件对所存储的内容进行管理的，这个软件就叫做文件系统百度百科：文件系统是操作系统用于明确存储设备阅读全文

posted @ 2020-10-25 15:25 珍珠奶茶不加糖阅读(262) 评论(0) 推荐(0)

Hadoop基础之环境搭建

摘要：Hadoop基础之环境搭建环境搭建本地环境可以用于开发的单节点模式，没有分布式的概念伪分布式环境一个节点表示一整个集群，但是分布式的概念，一个节点充当分布式里的所有角色完全分布式一个集群中有N个节点，他们分别充当分布式中不同的角色，完成不同的任务伪分布式环境搭建下载安装包 Hado 阅读全文

posted @ 2020-10-25 15:23 珍珠奶茶不加糖阅读(143) 评论(0) 推荐(0)

Hadoop基础之Hadoop概述

摘要：Hadoop基础之Hadoop概述 Hadoop基础之Hadoop概述什么是Hadoop Hadoop是一个可靠的、可扩展的，可以分布式计算的开源软件(计算框架) 使用简单模型在集群中分布式处理海量数据集群：从硬件的角度分析分布式：从软件的角度分析节点的数量可以从单一一个服务到成千上万个服务阅读全文

posted @ 2020-10-25 15:20 珍珠奶茶不加糖阅读(121) 评论(0) 推荐(0)

大数据之大数据基础

摘要：大数据基础大数据基础什么是大数据数据字母、数字、声音、影像等都是数据，数据本身没有任何意义数据是信息的载体信息信息是在数据的基础上，经过解释加工，得到了一定的价值，叫做信息信息量消除人们对不确定因素的大小大数据量大，如果想取得更大的价值，数据量要大，量变引起质变。数据量越多，可阅读全文

posted @ 2020-10-25 15:17 珍珠奶茶不加糖阅读(274) 评论(0) 推荐(0)

随笔分类 - 大数据