随笔分类 -  Hadoop应用

Shuffle和排序
摘要：MapReduce确保每个reducer的输入都按键排序。系统执行排序的过程——将map输出作为输入传给reducer——称为shuffle。shuffle属于不断被优化和改进的代码库的一部分，从许多方面来看，shuffle是MapReduce的“心脏”，是奇迹发生的地方。事实上，shuffle... 阅读全文
posted @ 2015-12-05 11:19 我是一名老菜鸟 阅读(4286) 评论(0) 推荐(0)
剖析MapReduce 作业运行机制
摘要：包含四个独立的实体：· Client Node客户端：编写MapReduce代码，配置作业，提交MapReduce作业。· JobTracker：初始化作业，分配作业，与TaskTracker通信，协调整个作业的运行。jobtracker是一个Java应用程序，它的主类是JobTracker。· T... 阅读全文
posted @ 2015-12-05 11:15 我是一名老菜鸟 阅读(1068) 评论(0) 推荐(0)
MapReduce编程系列 — 6：多表关联
摘要：1、项目名称：2、程序代码：版本一（详细版）：package com.mtjoin;import java.io.IOException;import java.util.Iterator;import org.apache.hadoop.conf.Configuration;import org.... 阅读全文
posted @ 2015-12-05 11:02 我是一名老菜鸟 阅读(466) 评论(0) 推荐(0)
MapReduce编程系列 — 5：单表关联
摘要：1、项目名称：2、项目数据：chile parentTom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack AliceJack JesseTerry AliceTerry JessePhilip TerryPhilip AlimaMark Te... 阅读全文
posted @ 2015-12-05 10:58 我是一名老菜鸟 阅读(739) 评论(0) 推荐(0)
MapReduce编程系列 — 4：排序
摘要：1、项目名称：2、程序代码：package com.sort;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apac... 阅读全文
posted @ 2015-12-05 10:54 我是一名老菜鸟 阅读(406) 评论(0) 推荐(0)
MapReduce编程系列 — 3：数据去重
摘要：1、项目名称：2、程序代码：package com.dedup;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apa... 阅读全文
posted @ 2015-12-05 10:52 我是一名老菜鸟 阅读(471) 评论(0) 推荐(0)
MapReduce编程系列 — 2：计算平均分
摘要：1、项目名称：2、程序代码：package com.averagescorecount;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.ha... 阅读全文
posted @ 2015-12-05 10:48 我是一名老菜鸟 阅读(1917) 评论(0) 推荐(0)
MapReduce编程系列 — 1：计算单词
摘要：1、代码：package com.mrdemo;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hado... 阅读全文
posted @ 2015-12-05 10:44 我是一名老菜鸟 阅读(286) 评论(0) 推荐(0)
安装Hadoop系列 — 新建MapReduce项目
摘要：1、新建MR工程依次点击 File → New → Ohter…选择 “Map/Reduce Project”，然后输入项目名称:mrdemo，创建新项目:2、（这步在以后的开发中可能会用到，但是现在不用，现在直接新建一个class文件即可）创建Mapper和Reducer依次点击 File → N... 阅读全文
posted @ 2015-12-05 10:34 我是一名老菜鸟 阅读(1089) 评论(0) 推荐(0)
安装Hadoop系列 — 导入Hadoop源码项目
摘要：将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件。第一步：在Eclipse新建一个Java项目，hadoop-1.0.3第二步：将Hadoop程序src下core, hdfs, mapred, tools几个目录copy... 阅读全文
posted @ 2015-12-05 10:29 我是一名老菜鸟 阅读(2518) 评论(0) 推荐(0)
安装Hadoop系列 — eclipse plugin插件编译安装配置
摘要：[一]、环境参数eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz //现在改为eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gzHadoop1.0.3Java 1.8.0Ubuntu 12.04 64bit[二]... 阅读全文
posted @ 2015-12-05 10:26 我是一名老菜鸟 阅读(364) 评论(0) 推荐(0)
安装Hadoop系列 — 安装Eclipse
摘要：1.下载Eclipse从http://www.eclipse.org/downloads/index-developer.php下载合适版本，如：Eclipse IDE for C/C++ Developers这里要注意的是，开始的时候我下载的是eclipse-java-kepler-SR2-lin... 阅读全文
posted @ 2015-12-05 10:21 我是一名老菜鸟 阅读(777) 评论(0) 推荐(0)
安装Hadoop系列 — 安装Hadoop
摘要：安装步骤如下：1）下载hadoop：hadoop-1.0.3http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/2）解压文件： 我是把hadoop-1.0.3.tar.gz文件复制到/home/hadoop目录下，然后直接就解压，它会自动生... 阅读全文
posted @ 2015-12-05 10:19 我是一名老菜鸟 阅读(317) 评论(0) 推荐(0)
安装Hadoop系列 — 安装JDK-8u5
摘要：安装步骤如下：1）下载 JDK 8 从http://www.oracle.com/technetwork/java/javasebusiness/downloads/ 选择下载JDK的最新版本 JDK 8。 我选择的是：jdk-8u5-linux-x64.tar.gz这个版本的JDK不需要安装，... 阅读全文
posted @ 2015-12-05 10:15 我是一名老菜鸟 阅读(3062) 评论(0) 推荐(0)
安装Hadoop系列 — 安装SSH免密码登录
摘要：配置ssh免密码登录1) 验证是否安装ssh：ssh -version显示如下的话则成功安装了OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013Bad escape character 'rsion'.否则安装ssh：sudo ap... 阅读全文
posted @ 2015-12-05 10:13 我是一名老菜鸟 阅读(5689) 评论(0) 推荐(0)
智传播客hadoop视频学习笔记(共2天)
摘要：第一天：1、答疑解惑• 就业前景• 学习hadoop要有什么基础• hadoop会像塞班一样，热一阵子吗• hadoop学习起来容易还是困难• 课堂上的学习方法（所有实验必须按照要求做，重原理、重实践）• 通过本课程能学到什么2、 课程简介• 以真实的电信详单分析程序为主线，讲解Hadoop，Hba... 阅读全文
posted @ 2015-12-03 22:03 我是一名老菜鸟 阅读(441) 评论(0) 推荐(0)
HDFS的命令行操作
摘要：1、namenode –format：格式化DFS文件系统2、secondaryNameNode：运行DFS的SecondaryNameNode进程 hadoop secondarynamenode [-checkpoint [force]] //当EditLog超过规定大小(默认64MB)时... 阅读全文
posted @ 2015-12-03 22:02 我是一名老菜鸟 阅读(2342) 评论(0) 推荐(0)
Hadoop分布式文件系统（HDFS）详解
摘要：HDFS简介：当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分区(partition)并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统成为分布式文件系统(Distributed filesystem)。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式... 阅读全文
posted @ 2015-12-03 21:57 我是一名老菜鸟 阅读(8300) 评论(0) 推荐(0)
Hadoop初步认识
摘要：Hadoop的介绍： Hadoop是一个适用于大数据的并行存储和计算的平台，是Apache的一个用java语言实现开源软件框架，实现了在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架的核心组成是HDFS和MapReduce，HDFS实现存储，而MapReduce实现数据分析与处理... 阅读全文
posted @ 2015-12-03 21:54 我是一名老菜鸟 阅读(556) 评论(0) 推荐(0)