随笔分类 -  大数据

基于Mapreduce的并行Dijkstra算法执行过程分析
摘要：1.图文件 2.执行流程 源代码：https://github.com/masterzjp/dijkstraMapreduce 3.mapper package com.hadoop.dijkstra; import java.io.IOException; import java.util.Arr 阅读全文
posted @ 2020-06-12 22:32 藤原拓海7 阅读(612) 评论(2) 推荐(1)
Partitioner
摘要：1.1 再次回顾Map阶段五大步骤 在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Map阶段总共五个步骤，如下图所示： 其中，step1.3就是一个分区操作。通过前面的学习我们知道Mapper最终处理的键值对<key, value>，是需要送到Reducer 阅读全文
posted @ 2018-11-11 16:36 藤原拓海7 阅读(499) 评论(0) 推荐(0)
Mapper与Reducer浅析
摘要：一、 Mapper Mapper接口负责数据处理阶段，它采用的形式为Mapper<K1,V1,K2,V2>Java泛型，这里键类和值类分别实现WritableComparable和Writable接口。 Mapper只有一个方法—map，用于处理一个单独的键、值对。 Void map(K1key,V 阅读全文
posted @ 2018-11-11 14:32 藤原拓海7 阅读(1166) 评论(0) 推荐(0)
wordcount 源码详解
摘要：1.源码解释 package org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;impo 阅读全文
posted @ 2018-11-11 14:09 藤原拓海7 阅读(1380) 评论(0) 推荐(0)
hadoop的map函数<key,value>的来源之Inputformat
摘要：刚接触mapreduce的编程时很是疑惑，map的<key,value>源源不断的到底是从哪里产生的，学习后才知道一切都源自main函数中的Inputformat函数，这个函数的目的就是将源数据切片，并将切片转变为<key,value>对，源源不断的供给给map，具体是Inputformat是一个抽 阅读全文
posted @ 2018-11-11 11:39 藤原拓海7 阅读(1829) 评论(0) 推荐(0)
eclipse 搭建hadoop开发环境,并连接虚拟机hadoop-2.5.2,运行wordcount
摘要：准备工作 1.下载hadoop2.5.2.tar.gz 2.下载hadoop-eclipse-plugin-2.5.2.jar插件。如果你的hadoop不是这个版本的，请自己动手编译插件，教程戳这 3.下载winutils.exe以及hadoop.dll （64位） 一、解压安装hadoop2.5. 阅读全文
posted @ 2018-09-25 16:58 藤原拓海7 阅读(1959) 评论(0) 推荐(1)
hadoop集群搭建（伪分布式）+使用自带jar包计算pi圆周率
摘要：一.使用VMvare创建两个虚拟机，我使用的是ubuntu17版本的,并关闭全部虚拟机的防火墙 1.我们把用于主节点的虚拟机名称设为master(按自己的喜好创建)，把用于从节点的虚拟机名称设为slave1 修改主机名的命令:sudo vim /etc/hostname 把原主机名ubuntu改为m 阅读全文
posted @ 2018-09-15 21:50 藤原拓海7 阅读(2647) 评论(0) 推荐(0)
运行hadoop自带wordcount实例
摘要：sbin/start-dfs.sh jps bin/hdfs dfs -ls / bin/hadoop dfsadmin -safemode leave 关闭安全模式//在HDFS上创建输入文件夹bin/hadoop fs -mkdir /data/wordcount //上传本地/home/zjp 阅读全文
posted @ 2018-09-13 09:33 藤原拓海7 阅读(1707) 评论(0) 推荐(0)
ubuntu中搭建Hadoop环境20180908(全)
摘要：一. Ubuntu Java8 的安装 添加ppa sudo add-apt-repository ppa:webupd8team/java sudo apt-get update 安装oracle-java-installer sudo apt-get install oracle-java8-i 阅读全文
posted @ 2018-09-08 21:24 藤原拓海7 阅读(1285) 评论(0) 推荐(1)