摘要: 第一部分:重要的组件 Combiner Combiner •什么是Combiner •combine函数把一个map函数产生的<key,value>对(多个key, value)合并成一个新的<key2,value2>. 将新的<key2,value2>作为输入到reduce函数中,其格式与redu 阅读全文
posted @ 2016-03-18 13:25 julyme 阅读(890) 评论(0) 推荐(0) 编辑
摘要: 安装maven hadoop源码是使用maven组织管理的,必须下载maven。从maven官网下载,下载地址是http://maven.apache.org/download.cgi,选择 apache-maven-3.1.0-bin.tar.gz 下载,不要选择3.1下载。 执行以下命令解压缩j 阅读全文
posted @ 2016-02-19 12:03 julyme 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 配置方案如图 NN DN ZK ZKFC JN RM NM(任务管理器) HMaster Region Server Node1 1 1 1 1 1 Node2 1 1 1 1 1 1 1 Node3 1 1 1 1 1 1 Node4 1 1 1 1 1 一、进入hadoop2.7/etc/had 阅读全文
posted @ 2016-02-17 22:53 julyme 阅读(2046) 评论(0) 推荐(0) 编辑
摘要: Maven库:http://repo2.maven.org/maven2/Maven依赖查询:http://mvnrepository.com/Maven常用命令:1. 创建Maven的普通java项目: mvn archetype:create -DgroupId=packageName -... 阅读全文
posted @ 2015-10-16 21:27 julyme 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 一、准备工作1.下载maven和 JDK(1)配置jdk环境2.安装maven(1)解压缩apache-maven-3.0.5-bin.zip 到你想安装的位置,如D:\Program Files。(2)设置Maven系统环境变量M2_HOME= D:\Program Files\apache-ma... 阅读全文
posted @ 2015-07-22 11:17 julyme 阅读(351) 评论(0) 推荐(0) 编辑
摘要: Mahout推荐算法API详解Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oo... 阅读全文
posted @ 2015-07-20 17:01 julyme 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题,ljavalangstring 一.简介 Windows下的 Eclipse上调试Hadoop2代码,所以 阅读全文
posted @ 2015-07-18 19:18 julyme 阅读(862) 评论(0) 推荐(0) 编辑
摘要: 1、连接到本机上的MYSQL。 首先打开DOS窗口,然后进入目录mysql\bin,再键入命令mysql -u root -p,回车后提示你输密码.注意用户名前可以有空格也可以没有空格,但是密码前必须没有空格,否则让你重新输入密码。如果刚安装好MYSQL,超级用户root是没有密码的,故直接回车即可... 阅读全文
posted @ 2015-02-28 11:23 julyme 阅读(3003) 评论(0) 推荐(1) 编辑
摘要: 1.JDK安装下载java JDK:点击下载(http://www.oracle.com/technetwork/java/javase/downloads/index.html )JDK(Java Development Kit)是整个Java的核心,包括一系列Java开发的东西,安装完毕需要配置... 阅读全文
posted @ 2015-02-06 10:08 julyme 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 1.单例设计模式 单例设计模式:保证一个类仅有一个实例,并提供一个访问它的全局访问点。 1)构造方法私有化 2)声明一个本类对象 3)给外部提供一个静态方法获取对象实例 例如: class Singleton{ private static Singletho1 s = n... 阅读全文
posted @ 2015-01-15 10:10 julyme 阅读(210) 评论(0) 推荐(0) 编辑