分布式 - 随笔分类 - wangwangkunkun

[zz]开源日志系统比较

摘要：1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1）构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3）具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。本文从设计架构，负... 阅读全文

posted @ 2012-02-21 23:00 wangwangkunkun 阅读(241) 评论(0) 推荐(0)

[zz]FastDFS php 扩展模块安装

摘要：http://mylinux.5d6d.com/thread-66-1-1.html 1 安装FastDFS 1.22 http://mylinux.5d6d.com/thread-65-1-1.html2 安装php扩展cd /usr/local/src/FastDFS/php_client//usr/local/php/bin/phpize./configure --with-php-conf... 阅读全文

posted @ 2011-12-11 22:59 wangwangkunkun 阅读(428) 评论(0) 推荐(0)

[zz]hadoop下运行多个SecondaryNameNode的配置

摘要：http://blog.csdn.net/AE86_FC/article/details/5284181 光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metada... 阅读全文

posted @ 2011-11-29 23:20 wangwangkunkun 阅读(375) 评论(0) 推荐(0)

[zz]HDFS小文件问题及解决方案

摘要：http://dongxicheng.org/mapreduce/hdfs-small-files-solution/ 1、概述小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个b... 阅读全文

posted @ 2011-11-27 21:30 wangwangkunkun 阅读(1186) 评论(0) 推荐(0)

[保留] 用VMWare 实现4节点的Lustre 并行文件系统集群

摘要：http://www.chinaunix.net/jh/4/783629.html 阅读全文

posted @ 2011-10-26 23:28 wangwangkunkun 阅读(122) 评论(0) 推荐(0)

chubby 相关

摘要：http://static.googleusercontent.com/external_content/untrusted_dlcp/labs.google.com/zh-CN//papers/chubby-osdi06.pdf http://blog.nosqlfan.com/html/591.html http://blog.csdn.net/historyasamirror/article... 阅读全文

posted @ 2011-10-08 16:53 wangwangkunkun 阅读(128) 评论(0) 推荐(0)

分布式系统工程实践的参考文献

摘要：11 参考文献11.1 书籍类[1] <<Distributed Systems: Principles and Paradigms>>[2] << High Performance Mysql>>11.2 论文类11.2.1 分布式理论[1] Time, clocks, and the ordering of events in a distributed system.[2] Impossib... 阅读全文

posted @ 2011-10-06 17:24 wangwangkunkun 阅读(1099) 评论(0) 推荐(0)

[zz]Ubuntu+Apache+PHP+MySQL+Memcached安装

摘要：http://hi.baidu.com/netjiangwb/blog/item/4fc441623596b04aeaf8f8f2.html 对了，在memcache 和 libevent 后，memcache启动错误，加个soft链接就行 ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib/libevent-2.0.so.5 我的系统环境：Linux... 阅读全文

posted @ 2011-09-26 21:25 wangwangkunkun 阅读(171) 评论(0) 推荐(0)

[zz]NoSQL数据库笔谈

摘要：http://sebug.net/paper/databases/nosql/Nosql.html 阅读全文

posted @ 2011-09-24 22:51 wangwangkunkun 阅读(136) 评论(0) 推荐(0)

天下有猫

公告

随笔分类 - 分布式