随笔分类 -  大数据Hadoop学习之路

Hadoop生态圈的学习笔记
摘要:本分介绍了Yarn的运行原理 阅读全文
posted @ 2019-12-28 18:45 数据科学实践者 阅读(1218) 评论(0) 推荐(0)
摘要:本文详细的介绍了Linux环境下的ZooKeeper安装步骤 阅读全文
posted @ 2019-12-19 13:17 数据科学实践者 阅读(463) 评论(0) 推荐(0)
摘要:本文测试文本: tom 20 8000 nancy 22 8000 ketty 22 9000 stone 19 10000 green 19 11000 white 39 29000 socrates 30 40000 MapReduce中,根据key进行分区、排序、分组 MapReduce会按照 阅读全文
posted @ 2019-12-13 13:51 数据科学实践者 阅读(471) 评论(0) 推荐(0)
摘要:本介绍了Mapreduce自定义分区的实现 阅读全文
posted @ 2019-12-11 15:54 数据科学实践者 阅读(385) 评论(0) 推荐(0)
摘要:本文详细的介绍了Hadoop的hdfs原理和读写过程 阅读全文
posted @ 2019-12-10 19:29 数据科学实践者 阅读(267) 评论(0) 推荐(0)
摘要:本文详细的介绍了Hadoop的Map和Reduce以及shuffle的详细步骤、源码分析 阅读全文
posted @ 2019-12-03 13:08 数据科学实践者 阅读(360) 评论(0) 推荐(0)
摘要:本文介绍了在window端编写一个MapReduce程序访问Hadoop集群,并且实现wordcount功能 阅读全文
posted @ 2019-12-03 13:05 数据科学实践者 阅读(291) 评论(0) 推荐(0)
摘要:1创建工程 点击project——Maven——next 2通过maven导入项目依赖jar包 (1)设置maven自动导入依赖jar包 勾选 Import Maven projects automatically,点击apply (2)配置pom.xml文件 pom.xml配置文件如下: <?xm 阅读全文
posted @ 2019-11-26 14:25 数据科学实践者 阅读(355) 评论(0) 推荐(0)
摘要:本文详细介绍额腾讯云搭建hadoop3集群 阅读全文
posted @ 2019-11-22 16:13 数据科学实践者 阅读(655) 评论(0) 推荐(0)