2020年12月
MapReduce执行流程
摘要： mapreduce的执行流程 首先框架会把文件切割成一个一个的split，然后一个split就会对应一个map任务。默认情况下一个split的大小和block size的大小是一样的，都是128MB。然后框架会为每一个split创建一个行阅读器，一个行阅读器会把每一行的数据给读出来，组装成<k1,v 阅读全文
posted @ 2020-12-20 10:48 clearlove22 阅读(170) 评论(0) 推荐(0)
2020年8月
Hadoop入坑之路（一）
摘要： Hadoop单节点的环境搭建. 一:下载Centos系统 在阿里云的镜像网站可以直接下载:https://mirrors.aliyun.com/centos/?spm=a2c6h.13651104.0.0.420612b22vWyec 二:安装虚拟机VirutalBox虚拟机 在虚拟机上进行Cent 阅读全文
posted @ 2020-08-05 17:40 clearlove22 阅读(30) 评论(0) 推荐(0)