摘要： Hile 内部的数据是按key排序好的,但Hfile之间数据并不能保证key的排序,也就是说对于新生成的Hfile,其内部的key并不都比老的Hfile的大，因此每次检索时，都需要在所有的Hfile中检索一次，再将记过合并。虽然Hbase针对HFile这个设计了各种加速机制如BloomFilter， 阅读全文

摘要： 之前没用过oracle,现在公司用到就记录下安装过程吧。安装PL/SQL工具，安装oracle11G工具。打开PL/SQL 进行配置。 阅读全文

摘要： 上次和朋友讨论到mapreduce，join应该发生在map端,理由太想当然到sql里面的执行过程了 wheremap端 join在map之前（笛卡尔积），但实际上网上看了，mapreduce的笛卡尔积发生在reduce端，下面哥们有个实现过程可以参考（http://blog.csdn.net/xy 阅读全文

摘要： reduce的数目到底和哪些因素有关 1、我们知道map的数量和文件数、文件大小、块大小、以及split大小有关，而reduce的数量跟哪些因素有关呢？ 设置mapred.tasktracker.reduce.tasks.maximum的大小可以决定单个tasktracker一次性启动reduce的 阅读全文

摘要： 最近近公司被安排做hbase开发,太久没做今天记录下过程 import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apach 阅读全文

摘要： 阅读全文

摘要： Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Apa 阅读全文

摘要： 公平调度是以pool为单位分配任务slots的，容量调度以queue的方式分配tasktracker的，当都只有一个job的时候，两种调度器都可以利用整个集群的资源，在每个pool内部可以是以FIFO方式调度也可以是公平方式调度，但是在queue内部只能是以FIFO方式调度，这是公平调度和容量调度的 阅读全文

摘要： 不透明分区事务不区分发新消息还是旧消息,全部用emitPartitionBatch搞定,虽然 emitPartitionBatch返回的X应该是下一批次供自己使用(emitPartitionBatch的第四个参数), 但是只有一个批次成功以后X才会更新到Zookeeper中,如果失败重发,emitP 阅读全文

摘要： void prepare(java.util.Map conf, TopologyContext context, BatchOutputCollector collector, T id) T id是Object还是TransactionAttempt类型 阅读全文