代码王子

摘要： 1 多HTable并发写 创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子： static final Configuration conf = HBaseConfiguration.create(); static final String table_log_name ... 阅读全文

摘要： 因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。 配置优化 zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：R... 阅读全文

摘要： Hbase有两种压缩 策略：minor和major。Minor compactions通常选择几个临近的小的storefiles把他们重写成一个。Minors 不会丢掉已删除或者过期的cells，只有major compactions才会做这些。有时一次Minor compactions将... 阅读全文

摘要： 1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这 个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些... 阅读全文

摘要： MapReduce过程解析 一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 ... 阅读全文

摘要： 一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSi... 阅读全文

摘要： 1、概述 1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业。那么Terasort在Hadoop中是怎样实现的呢？本文主要从算法设计角度分析Terasort作业。 2、算法思想 实 际上，当我们要把传统的串行排序算法设计成并行的排序算法时，... 阅读全文

摘要： 排序算法有很多，所以在特定情景中使用哪一种算法很重要。为了选择合适的算法，可以按照建议的顺序考虑以下标准： （1）执行时间 （2）存储空间 （3）编程 对于数据量较小的情形，（1）（2）差别不大，主要考虑（3）；而对于数据量大的，（1）为首要。 主要排序法有： ... 阅读全文

摘要： 关联规则挖掘 （一） Apriori （二） FilteredAssociator （三） FPGrowth （四） GeneralizedSequentislPatterns （五） PredictiveApriori （六） Tertius Cluster （一） ... 阅读全文

摘要： Kmeans是最经典的聚类算法之一，它的优美简单、快速高效被广泛使用。 Kmeans算法描述 输入：簇的数目k；包含n个对象的数据集D。 输出：k个簇的集合。 方法： 从D中任意选择k个对象作为初始簇中心；repeat;根据簇中对象的均值，将每个对象指派到最相似的簇；更新簇均值，即计算每个簇... 阅读全文