博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

随笔分类 -  分布式

摘要:1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统; (3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。 本文从设计架构,负... 阅读全文

posted @ 2012-02-21 23:00 wangwangkunkun 阅读(241) 评论(0) 推荐(0)

摘要:http://mylinux.5d6d.com/thread-66-1-1.html 1 安装FastDFS 1.22 http://mylinux.5d6d.com/thread-65-1-1.html2 安装php扩展cd /usr/local/src/FastDFS/php_client//usr/local/php/bin/phpize./configure --with-php-conf... 阅读全文

posted @ 2011-12-11 22:59 wangwangkunkun 阅读(428) 评论(0) 推荐(0)

摘要:http://blog.csdn.net/AE86_FC/article/details/5284181 光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metada... 阅读全文

posted @ 2011-11-29 23:20 wangwangkunkun 阅读(375) 评论(0) 推荐(0)

摘要:http://dongxicheng.org/mapreduce/hdfs-small-files-solution/ 1、 概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte,如果有1000 0000个小文件,每个文件占用一个b... 阅读全文

posted @ 2011-11-27 21:30 wangwangkunkun 阅读(1186) 评论(0) 推荐(0)

摘要:http://www.chinaunix.net/jh/4/783629.html 阅读全文

posted @ 2011-10-26 23:28 wangwangkunkun 阅读(122) 评论(0) 推荐(0)

摘要:http://static.googleusercontent.com/external_content/untrusted_dlcp/labs.google.com/zh-CN//papers/chubby-osdi06.pdf http://blog.nosqlfan.com/html/591.html http://blog.csdn.net/historyasamirror/article... 阅读全文

posted @ 2011-10-08 16:53 wangwangkunkun 阅读(128) 评论(0) 推荐(0)

摘要:11 参考文献11.1 书籍类[1] <<Distributed Systems: Principles and Paradigms>>[2] << High Performance Mysql>>11.2 论文类11.2.1 分布式理论[1] Time, clocks, and the ordering of events in a distributed system.[2] Impossib... 阅读全文

posted @ 2011-10-06 17:24 wangwangkunkun 阅读(1099) 评论(0) 推荐(0)

摘要:http://hi.baidu.com/netjiangwb/blog/item/4fc441623596b04aeaf8f8f2.html 对了,在memcache 和 libevent 后,memcache启动错误,加个soft链接就行 ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib/libevent-2.0.so.5 我的系统环境:Linux... 阅读全文

posted @ 2011-09-26 21:25 wangwangkunkun 阅读(171) 评论(0) 推荐(0)

摘要:http://sebug.net/paper/databases/nosql/Nosql.html 阅读全文

posted @ 2011-09-24 22:51 wangwangkunkun 阅读(136) 评论(0) 推荐(0)