06 2015 档案

Hadoop源代码分析（三七）
摘要：Secondary NameNode的成员变量很少，主要的有：privateCheckpointStorage checkpointImage;Secondary NameNode使用的StorageprivateNamenodeProtocol namenode;和NameNode通信的接口pri... 阅读全文
posted @ 2015-06-12 17:15 超人学院 阅读(238) 评论(0) 推荐(0)
Hive优化
摘要：一、什么时候可以避免执行MapReduce？select *where语句中只有分区字段二、Jion优化驱动表最右边查询表表的大小从左边到右边依次增大标志机制显示的告知查询优化器哪张表示大表/*+streamtable(table_name)*/三、Map-side聚合sethive.map.agg... 阅读全文
posted @ 2015-06-12 17:14 超人学院 阅读(323) 评论(0) 推荐(0)
Scala函数与对象
摘要：函数在Scala语言里面也是一个对象，也许这对于Java程序员来说这比较令人惊讶。于是吧函数作为参数进行传递、把它们存贮在变量中、或者当作另一个函数的返回值都是可能的。吧函数当成值进行操作是函数型编程语言的基石。为了解释为什么吧函数当作值进行操作是十分有用的，我们来考虑一个计时器函数。这个函数的目的... 阅读全文
posted @ 2015-06-12 17:13 超人学院 阅读(327) 评论(0) 推荐(0)
docker中的容器互联-linking系统
摘要：docker中的容器互联-linking系统docker有一个linking 系统可以连接多个容器。它会创建一对父子关系，父容器可以看到所选择的子容器的信息。1)容器的命名系统linking系统依据容器的名称来执行。当我们创建容器的时候，系统会随机分配一个名字。当然我们也可以自己来命名容器，这样做有... 阅读全文
posted @ 2015-06-12 17:12 超人学院 阅读(702) 评论(0) 推荐(0)
Spout的实现步骤
摘要：Spout的实现步骤：· 对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。· 在数据得到了字段的说明后，将其转换成tuple。· 声明Spout和Bolt之间的分组，并决定tuple发送给Bolt的途径。Spout的具体编码在Listing Three中显示。Listing Thr... 阅读全文
posted @ 2015-06-12 17:11 超人学院 阅读(288) 评论(0) 推荐(0)
redis事物命令示例
摘要：命令示例：1.事务被正常执行：#在Shell命令行下执行Redis的客户端工具。/>redis-cli#在当前连接上启动一个新的事务。redis 127.0.0.1:6379>multiOK#执行事务中的第一条命令，从该命令的返回结果可以看出，该命令并没有立即执行，而是存于事务的命令队列。redis... 阅读全文
posted @ 2015-06-12 17:10 超人学院 阅读(206) 评论(0) 推荐(0)
sqoop测试oracle数据库的连接使用
摘要：测试oracle数据库的连接使用①连接oracle数据库，列出所有的数据库[hadoop@eb179 sqoop]$sqoop list-databases--connect jdbc 10.1.69.173:1521:ORCLBI --username huangq -P或者sqoop list-... 阅读全文
posted @ 2015-06-12 17:08 超人学院 阅读(4986) 评论(0) 推荐(0)
HBaseConvetorUtil 实体转换工具类
摘要：HBaseConvetorUtil实体转换工具类public class HBaseConvetorUtil { /** *@Title:convetor *@Description:传入hbase返回结果值，返回实例集合 *@param *@return *@throws */ publics... 阅读全文
posted @ 2015-06-12 17:07 超人学院 阅读(434) 评论(0) 推荐(0)
java操作solr实现索引，查询，删除，拼写检查等功能
摘要：使用java操作solr前面讲了很多对solr的操作都是直接在页面上操作的，实际工作中肯定是要使用java进行操作的，在这我们就看一下如何使用java来操作solrSolr提供了solrj来使用java操作solr，SolrJ是封装了httpClient方法，来操作solr的API的。首先添加mav... 阅读全文
posted @ 2015-06-12 17:06 超人学院 阅读(5804) 评论(1) 推荐(0)
Hadoop之Hbase从入门到精通
摘要：Hadoop之Hbase从入门到精通http://yunpan.cn/cwhbfIv2pptiR（提取码：b786）超人学院Hadoop大数据技术资源分享更多精彩内容请关注超人学院微信更多精彩内容请关注：http://bbs.superwu.cn 阅读全文
posted @ 2015-06-12 17:05 超人学院 阅读(329) 评论(0) 推荐(0)
CRUD操作
摘要：简单的CRUD操作，参考HBase权威指南(中文版).pdf，下面的是对HBase基本操作进行面向对象封装后的CRUD操作。所有以HBase作为存储数据库的DAO层，都继承HBaseDaoImpl类，下列是使用示例。新增操作publicString add(XControl control)thro... 阅读全文
posted @ 2015-06-11 17:48 超人学院 阅读(345) 评论(0) 推荐(0)
Solr vs Lucene
摘要：Solr vs LuceneSolr与Lucene 并不是竞争对立关系，恰恰相反Solr 依存于Lucene，因为Solr底层的核心技术是使用Lucene 来实现的，Solr和Lucene的本质区别有以下三点：搜索服务器，企业级和管理。Lucene本质上是搜索库，不是独立的应用程序，而Solr是。L... 阅读全文
posted @ 2015-06-11 17:34 超人学院 阅读(252) 评论(0) 推荐(0)
redis配置文件参数说明
摘要：配置文件参数说明:1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonizeno2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 pidfile/var/run... 阅读全文
posted @ 2015-06-11 17:17 超人学院 阅读(237) 评论(0) 推荐(0)
超人学院Hadoop大数据技术资源分享
摘要：超人学院Hadoop大数据技术资源分享http://bbs.superwu.cn/forum.php?mod=viewthread&tid=807&fromuid=645更多精彩内容请关注：http://bbs.superwu.cn关注超人学院微信二维码： 阅读全文
posted @ 2015-06-11 16:21 超人学院 阅读(183) 评论(0) 推荐(0)
Docker源码分析（三）：Docker Daemon启动
摘要：Docker Daemon是Docker架构中运行在后台的守护进程，大致可以分为Docker Server、Engine和Job三部分。Docker Daemon可以认为是通过Docker Server模块接受Docker Client的请求，并在Engine中处理请求，然后根据请求类型，创建出指定... 阅读全文
posted @ 2015-06-11 16:19 超人学院 阅读(607) 评论(0) 推荐(0)
hive内置函数详解
摘要：内置函数2.1数学函数返回类型函数说明BIGINTround(double a)四舍五入DOUBLEround(double a, int d)小数部分d位之后数字四舍五入，例如round(21.263,2),返回21.26BIGINTfloor(double a)对给定数据进行向下舍入最接近的整数... 阅读全文
posted @ 2015-06-11 16:16 超人学院 阅读(498) 评论(0) 推荐(0)
Scala的模式匹配和条件类
摘要：Scala的模式匹配和条件类树是在程序中常用的一个数据结构。例如编译器和解析器常常吧程序表示为树；XML文档结构也是树状的；还有一些集合是基于树的，例如红黑树。接下来我们将通过一个计算器程序来研究树在Scala中是如何表示和操纵的。这个程序的目标是处理一些由整数常量、变量和加号组成的简单的算数表达式... 阅读全文
posted @ 2015-06-11 16:14 超人学院 阅读(537) 评论(0) 推荐(0)
Hadoop源代码分析（四零）
摘要：有了上面的基础，我们可以来解剖DFSOutputStream了。先看构造函数： privateDFSOutputStream(String src,longblockSize, Progressable progress, intbytesPerChecksum)throwsIOException... 阅读全文
posted @ 2015-06-11 16:12 超人学院 阅读(246) 评论(0) 推荐(0)
Hadoop源代码分析（Task的内部类和辅助类）
摘要：从前面的图中，我们可以发现Task有很多内部类，并拥有大量类成员变量，这些类配合Task完成相关的工作，如下图。MapOutputFile管理着Mapper的输出文件，它提供了一系列get方法，用于获取Mapper需要的各种文件，这些文件都存放在一个目录下面。我们假设传入MapOutputFile的... 阅读全文
posted @ 2015-06-09 17:21 超人学院 阅读(189) 评论(0) 推荐(0)
hive扩展函数开发规范
摘要：提供以下两种实现方式：a继承org.apache.hadoop.hive.ql.exec.UDF类代码包为:packageorg.apache.hadoop.hive.ql.udf实现evaluate方法，根据输入参数和返回参数类型，系统自动转换到匹配的方法实现上。例如：• UDFTestLeng... 阅读全文
posted @ 2015-06-09 17:20 超人学院 阅读(465) 评论(0) 推荐(0)
Stream Grouping类型
摘要：Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。2. 字段分组（Fields group... 阅读全文
posted @ 2015-06-09 17:18 超人学院 阅读(830) 评论(0) 推荐(0)
Scala视图
摘要：视图隐含参数和方法也可以定义隐式转换，称作视图。由类型S到类型T的视图由一个函数类型为S=>T或(=>S)=>T的隐含值或一个可以转变为该类型的值定义。视图在两种情况下应用。1. 如果表达式e类型为T，且T与表达式的期望类型不一致。这种情况下将会搜索一个隐含的v，v可以应用到e且结果类型与pt一致。... 阅读全文
posted @ 2015-06-09 17:17 超人学院 阅读(277) 评论(0) 推荐(0)
docker安装
摘要：Docker 在Centos 6.5 X64下安装下载epelwgethttp://ftp.sjtu.edu.cn/fedora/epel/6/i386/epel-release-6-8.noarch.rpm安装epelrpm -ivh epel-release-6-8.noarch.rpm安装do... 阅读全文
posted @ 2015-06-09 17:16 超人学院 阅读(210) 评论(0) 推荐(0)
Redis3.0集群部署(centos系统)
摘要：（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）192.168.1.160:7000192.168.1.160:7001192.168.1.160:7002192.168.1.160:700319... 阅读全文
posted @ 2015-06-09 17:15 超人学院 阅读(311) 评论(0) 推荐(0)
HBase安装手册
摘要：1. 安装说明lZookeeper3.4.5集群已部署(192.168.210.95\192.168.210.86 部署手册见zookeeper安装手册)lHbase版本号 0.96.1l操作系统Red HatEnterprise Linux Server release 5.5 (Tikanga)... 阅读全文
posted @ 2015-06-09 17:13 超人学院 阅读(325) 评论(0) 推荐(0)
Solr1.3的核心机制
摘要：内核调用机制从图3-3可以看出Solr1.3服务器包含一个实现基本功能的核心API，也可称之为内核。所有功能的实现都通过对内核API的调用来实现。Solr1.3的内核API提供的接口具有高内聚低耦合的特点。低耦合主要体现在仅仅通过一个API函数（execute）就可以实现包括信息查询和索引管理的功能... 阅读全文
posted @ 2015-06-09 17:10 超人学院 阅读(598) 评论(0) 推荐(0)
抽象数据类型
摘要：抽象数据类型是描述数据结构的一种理论工具。在介绍抽象数据类型之前我们先介绍一下数据类型的基本概念。数据类型（data type）是一组性质相同的数据元素的集合以及加在这个集合上的一组操作。例如Java 语言中就有许多不同的数据类型，包括数值型的数据类型、字符串、布尔型等数据类型。以Java 中的in... 阅读全文
posted @ 2015-06-09 17:09 超人学院 阅读(772) 评论(0) 推荐(0)
超人学院Hadoop大数据资源分享
摘要：超人学院Hadoop大数据资源分享 Hadoop源码分析完整版http://yunpan.cn/cwpjVnNDSRDs5 9d2d扫一扫超人学院二维码 阅读全文
posted @ 2015-06-09 17:07 超人学院 阅读(160) 评论(0) 推荐(0)