2011年11月19日

HBase在数据统计应用中的使用心得

摘要:由于项目开发的需要,使用HBase作为数据统计应用的存储系统,这里是一些经验总结以及对于使用过程中存在问题的解决思路。 阅读全文

posted @ 2011-11-19 23:56 大圆那些事 阅读 (24525) 评论 (8) 编辑

2011年11月7日

分布式文件系统KFS源码阅读与分析(三):RPC实现机制(MetaServer端)

摘要:分布式文件系统KFS的MetaServer和Client采用服务器/客户端模型,MetaServer和Client之间的通讯是通过RPC机制来实现的。这里介绍下KFS中MetaServer端的RPC实现机制。 阅读全文

posted @ 2011-11-07 01:03 大圆那些事 阅读 (4119) 评论 (0) 编辑

2011年11月6日

Linux环境下段错误的产生原因及调试方法小结

摘要:最近在Linux环境下做C语言项目,由于是在一个原有项目基础之上进行二次开发,而且项目工程庞大复杂,出现了不少问题,其中遇到最多、花费时间最长的问题就是著名的“段错误”(Segmentation Fault)。借此机会系统学习了一下,这里对Linux环境下的段错误做个小结,方便以后同类问题的排查与解决。 阅读全文

posted @ 2011-11-06 17:15 大圆那些事 阅读 (179794) 评论 (12) 编辑

2011年10月28日

对互联网海量数据实时计算的理解

摘要:本文依次介绍了互联网领域海量数据实时计算的基本概念、相关技术和产品以及一个简单的应用实例。 阅读全文

posted @ 2011-10-28 01:06 大圆那些事 阅读 (17126) 评论 (9) 编辑

2011年10月24日

Linux调试工具strace和gdb常用命令小结

摘要:strace和gdb是Linux环境下的两个常用调试工具,这里是个人在使用过程中对这两个工具常用参数的总结,留作日后查看使用。 阅读全文

posted @ 2011-10-24 14:23 大圆那些事 阅读 (9198) 评论 (0) 编辑

2011年10月20日

LIBRARY_PATH和LD_LIBRARY_PATH环境变量的区别

摘要:本文简单概括总结了Linux下的两个环境变量:LIBRARY_PATH和LD_LIBRARY_PATH,以及它们在使用上的区别。 阅读全文

posted @ 2011-10-20 00:51 大圆那些事 阅读 (47453) 评论 (0) 编辑

2011年9月4日

分布式系统Hadoop源码阅读与分析(一):作业调度器实现机制

摘要:上一篇博文对Hadoop的作业调度器进行了介绍,我们知道,JobTracker和TaskTracker是Hadoop作业调度过程中最核心的两个部分,前者负责map/reduce作业的调度与分派,后者负责map/reduce作业的实际执行,它们之间通过RPC机制进行通讯。下面将对Hadoop 0.20.2版本中作业调度相关源码进行分析,至于JobTracker和TaskTracker中与作业调度无关的源码部分,并未进行详细介绍。 阅读全文

posted @ 2011-09-04 16:33 大圆那些事 阅读 (5951) 评论 (11) 编辑

分布式系统Hadoop作业调度器及其问题的讨论

摘要:Hadoop作业调度器的设计采用的是插件机制,即作业调度器是动态加载的、可插拔的,同时第三方可以开发自己的作业调度器替代Hadoop默认的调度器。目前,Hadoop的作业调度器主要有以下三个:FIFO Scheduler、Capacity Scheduler、Fair Scheduler。这里对Hadoop作业调度器的基本原理进行介绍,然后就其存在的问题给出了自己的理解。 阅读全文

posted @ 2011-09-04 16:02 大圆那些事 阅读 (3477) 评论 (1) 编辑

2011年8月28日

分布式文件系统KFS源码阅读与分析(二):MetaServer元数据持久化

摘要:KFS文件系统的MetaServer元数据的持久化采用的是checkpoint + log方式,下面将结合其源码,对KFS MetaServer中元数据的持久化机制及其实现细节进行分析。 阅读全文

posted @ 2011-08-28 16:56 大圆那些事 阅读 (2754) 评论 (8) 编辑

2011年8月25日

分布式文件系统KFS源码阅读与分析(一):MetaServer元数据组织结构

摘要:KFS文件系统的MetaServer元数据管理采用的是B+树方式,下面将结合其源码,对KFS MetaServer中元数据的组织形式及有关实现细节进行分析。 阅读全文

posted @ 2011-08-25 01:59 大圆那些事 阅读 (4183) 评论 (8) 编辑

导航