摘要：
从前面的图中，我们可以发现Task有很多内部类，并拥有大量类成员变量，这些类配合Task完成相关的工作，如下图。MapOutputFile管理着Mapper的输出文件，它提供了一系列get方法，用于获取Mapper需要的各种文件，这些文件都存放在一个目录下面。我们假设传入MapOutputFile的... 阅读全文
posted @ 2015-06-09 17:21
超人学院
阅读(183)
评论(0)
推荐(0)
摘要：
提供以下两种实现方式：a继承org.apache.hadoop.hive.ql.exec.UDF类代码包为:packageorg.apache.hadoop.hive.ql.udf实现evaluate方法，根据输入参数和返回参数类型，系统自动转换到匹配的方法实现上。例如：• UDFTestLeng... 阅读全文
posted @ 2015-06-09 17:20
超人学院
阅读(461)
评论(0)
推荐(0)
摘要：
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。2. 字段分组（Fields group... 阅读全文
posted @ 2015-06-09 17:18
超人学院
阅读(828)
评论(0)
推荐(0)
摘要：
视图隐含参数和方法也可以定义隐式转换，称作视图。由类型S到类型T的视图由一个函数类型为S=>T或(=>S)=>T的隐含值或一个可以转变为该类型的值定义。视图在两种情况下应用。1. 如果表达式e类型为T，且T与表达式的期望类型不一致。这种情况下将会搜索一个隐含的v，v可以应用到e且结果类型与pt一致。... 阅读全文
posted @ 2015-06-09 17:17
超人学院
阅读(271)
评论(0)
推荐(0)
摘要：
Docker 在Centos 6.5 X64下安装下载epelwgethttp://ftp.sjtu.edu.cn/fedora/epel/6/i386/epel-release-6-8.noarch.rpm安装epelrpm -ivh epel-release-6-8.noarch.rpm安装do... 阅读全文
posted @ 2015-06-09 17:16
超人学院
阅读(207)
评论(0)
推荐(0)
摘要：
（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）192.168.1.160:7000192.168.1.160:7001192.168.1.160:7002192.168.1.160:700319... 阅读全文
posted @ 2015-06-09 17:15
超人学院
阅读(306)
评论(0)
推荐(0)
摘要：
1. 安装说明lZookeeper3.4.5集群已部署(192.168.210.95\192.168.210.86 部署手册见zookeeper安装手册)lHbase版本号 0.96.1l操作系统Red HatEnterprise Linux Server release 5.5 (Tikanga)... 阅读全文
posted @ 2015-06-09 17:13
超人学院
阅读(320)
评论(0)
推荐(0)
摘要：
内核调用机制从图3-3可以看出Solr1.3服务器包含一个实现基本功能的核心API，也可称之为内核。所有功能的实现都通过对内核API的调用来实现。Solr1.3的内核API提供的接口具有高内聚低耦合的特点。低耦合主要体现在仅仅通过一个API函数（execute）就可以实现包括信息查询和索引管理的功能... 阅读全文
posted @ 2015-06-09 17:10
超人学院
阅读(592)
评论(0)
推荐(0)
摘要：
抽象数据类型是描述数据结构的一种理论工具。在介绍抽象数据类型之前我们先介绍一下数据类型的基本概念。数据类型（data type）是一组性质相同的数据元素的集合以及加在这个集合上的一组操作。例如Java 语言中就有许多不同的数据类型，包括数值型的数据类型、字符串、布尔型等数据类型。以Java 中的in... 阅读全文
posted @ 2015-06-09 17:09
超人学院
阅读(769)
评论(0)
推荐(0)
摘要：
超人学院Hadoop大数据资源分享 Hadoop源码分析完整版http://yunpan.cn/cwpjVnNDSRDs5 9d2d扫一扫超人学院二维码 阅读全文
posted @ 2015-06-09 17:07
超人学院
阅读(157)
评论(0)
推荐(0)
浙公网安备 33010602011771号