吊车尾88

摘要： spark sql 中join的类型 Spark DataFrame中join与SQL很像，都有inner join, left join, right join, full join; spark join 看其原型 def join(right : DataFrame, usingColumns 阅读全文

摘要： 转载：http://www.cnblogs.com/yaojingang/p/5446310.html 在了解了MapReduce实现SQL基本操作之后，我们来看看Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段： 下面分别对这六个阶段进行介绍 Phase1 - SQL 阅读全文

摘要： 1. Hive 的 distribute by Order by 能够预期产生完全排序的结果，但是它是通过只用一个reduce来做到这点的。所以对于大规模的数据集它的效率非常低。在很多情况下，并不需要全局排序，此时可以换成Hive的非标准扩展sort by。Sort by为每个reducer产生一个 阅读全文

摘要： 转自:http://lxw1234.com/archives/2015/06/313.htm 笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。 Hive Common J 阅读全文

摘要： 1. InnoDB 体系架构 其中，后台程序主要负责刷新内存池中的数据，保证缓冲池中的内存缓存的是最近的数据。 此外将已经修改的数据刷新到磁盘文件，同时保证在数据库发生异常的时候Innodb能恢复正常运行状态。 1.1 后台线程 1.1.1 Master Thread 这是一个核心的后台程序，主要负 阅读全文

摘要： 在整个Java.io包中最重要的就是5个类和一个接口。 5个类指的是 File OutputStream InputStream Writer Reader 一个接口指的是 Serializable 掌握了这些IO的核心操作那么对于Java中的IO体系也就有了一个初步的认识了 Java I/O主要包 阅读全文

摘要： 1. 如何安装？　1)将下载的flume包，解压到/home/hadoop目录中 2)修改 flume-env.sh 配置文件,主要是JAVA_HOME变量设置 root@m1:/home/hadoop/flume-1.5.0-bin# cp conf/flume-env.sh.template c 阅读全文

摘要： 1. flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核 阅读全文

摘要： 几个常用存储引擎的特点 下面我们重点介绍几种常用的存储引擎并对比各个存储引擎之间的区别和推荐使用方式。 最常使用的2种存储引擎： Myisam是Mysql的默认存储引擎。当create创建新表时，未指定新表的存储引擎时，默认使用Myisam。每个MyISAM在磁盘上存储成三个文件。文件名都和表名相同 阅读全文

摘要： 先上代码：public class Main { 总结来说： 1）对于==，如果作用于基本数据类型的变量，则直接比较其存储的 “值”是否相等； 如果作用于引用类型的变量，则比较的是所指向的对象的地址 2）对于equals方法，注意：equals方法不能作用于基本数据类型的变量 如果没有对equals 阅读全文