摘要：
Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。通常情况下，想在CPU和IO之间取得平衡的话，用Snappy和lzo比较常见一些。Comparison between compression algorithmsAlgorithm% remainingEncodingDecodingGZIP13. 阅读全文
阅读排行榜
Chapter11-"windows线程池" 之 内核对象触发调用回调函数
2013-01-26 23:58 by java20130722, 441 阅读, 收藏,
摘要：
众所周知，一般可以调用WaitForSingleObject、WaitForMultiObject来实现线程同步。但是当多个线程等待同一个内核对象变为触发态时，这并不是一种明智的做法，这样会浪费大量的系统资源。而windows线程池很有效提供系统性能。 利用windows线程池实现，当内核对象变为触发态时，自动调用一个回调函数，一如既往的需要四步创建对应的回调函数，回调函数必须符合如下原型VOID CALLBACK WaitCallback( _Inout_ PTP_CALLBACK_INSTANCE Instance, ... 阅读全文
手动安装cloudera cdh4.2 hadoop + hbase + hive（三）
2013-05-12 00:13 by java20130722, 437 阅读, 收藏,
摘要：
本文主要记录手动安装cloudera Hive cdh4.2.0集群过程，环境设置及Hadoop、HBase安装过程见上篇文章。安装hivehive安装在desktop1上，注意hive默认是使用derby数据库保存元数据，这里替换为postgresql，下面会提到postgresql的安装说明，并且需要拷贝postgres的jdbc jar文件导hive的lib目录下。上传文件上传hive-0.10.0-cdh4.2.0.tar到desktop1的/opt，并解压缩安装postgres创建数据库这里创建数据库metastore并创建hiveuser用户，其密码为redhat。psql -U 阅读全文
轻量级持久存储系统 MemcacheDB
2013-07-19 17:21 by java20130722, 436 阅读, 收藏,
摘要：
轻量级持久存储系统MemcacheDB（转载）(2010-10-18 13:18:07)转载▼标签：代码复制默认守护进程主从it注:memcached可能简称mc，memcachedb可能简称mcdb一、memcachedb是什么mcdb是一款分布式键值持久存储系统，由新浪开源。mcdb基于mc协议，所以可以使用mc客户端直接使用，存储引擎方面使用BerkeleyDB，支持主从复制模式。二、memcachedb的应用场景首先，我们从基本的数据存储的角度看mysql、memcached、memcachedb的区别和特点，当然它们肯定不只这点区别。mc因为是非持久存储的，所以它的定位就是缓存。而m 阅读全文
hadoop配置(个人总结)
2013-03-11 20:45 by java20130722, 436 阅读, 收藏,
摘要：
实验机器： namenode: 192.168.120.63 - centos5 datanode: 192.168.120.64 -centos5 datanode: 192.168.120.65 -centos5配置目标: 63机器作为namenode, secondarynamenode 64和65机器作为datanode和tasknode 每台机器使用hadoop账户来管理和运行hadoop配置步骤： 1. 准备文件，包括 jdk 和 hadoop jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk6u 阅读全文
浙公网安备 33010602011771号