随笔分类 -  分布式系统

对分布式事务、消息队列的重新认识
摘要：最近在A公司实习，在内网看到一篇文章讲分布式事务的文章。看完后很有启发，以前认为消息队列的主要功能是异步和解耦，现在发现还可以用它来解决分布式事务的相关问题。 转自http://www.atatech.org/articles/39010，原文如下： 如何用消息系统避免分布式事务？ 前阵子从支付宝转 阅读全文
posted @ 2016-07-21 22:21 凝静志远 阅读(886) 评论(1) 推荐(0)
初步搭建RocketMQ环境
摘要：1. 去官网https://github.com/alibaba/RocketMQ/releases下载alibaba-rocketmq-3.2.6.tar.gz，这个是已经maven install好了的。当然也可以下载source code自己编译。 2. 进入解压后的项目的bin目录下，分别启 阅读全文
posted @ 2016-05-15 23:11 凝静志远 阅读(2318) 评论(0) 推荐(0)
zookeeper系列之通信模型（转）
摘要：本文的主题就是讲解Zookeeper通信模型，本节将通过一个概要图来说明Zookeeper的通信模型。 Zookeeper的通信架构 在Zookeeper整个系统中，有3中角色的服务，client、Follower、leader。其中client负责发起应用的请求，Follower接受client发 阅读全文
posted @ 2016-04-28 22:30 凝静志远 阅读(1095) 评论(0) 推荐(0)
安装zookeeper遇到的问题以及解决方案
摘要：伪分布式安装基本思想 zookeeper的安装包保存一份，但是zoo.cfg配置多份，启动zookeeper服务器的时候指定不同的zoo.cfg即可。即启动时这样启动：zkServer.sh start zk1.cfgzkServer.sh start zk2.cfgzkServer.sh star 阅读全文
posted @ 2016-04-27 23:48 凝静志远 阅读(288) 评论(0) 推荐(0)
hadoop报错：WARN mapred.JobClient: Error reading task outputNo route to host
摘要：解决方案：/etc/sysconfig/network/etc/hosts$hostname这三处的主机名都要一样。具体参考：http://blog.itpub.net/28254374/viewspace-1059607/ 阅读全文
posted @ 2015-04-15 22:06 凝静志远 阅读(427) 评论(0) 推荐(0)
HDFS源码分析：NameNode相关的数据结构
摘要：本文主要基于Hadoop1.1.2分析HDFS中的关键数据结构。 1 NameNode 首先从NameNode开始。NameNode的主要数据结构如下： NameNode管理着两张很重要的表: 1) filename->blocksequence (namespace) 2) block->mach 阅读全文
posted @ 2015-03-03 18:51 凝静志远 阅读(992) 评论(0) 推荐(0)
Hadoop版本变迁
摘要：内容来自《Hadoop技术内幕：深入解析YARN架构设计与实现原理》第2章：http://book.51cto.com/art/201312/422022.htmHadoop版本变迁当前Apache Hadoop版本非常多，本小节将帮助读者梳理各个版本的特性以及它们之间的联系。在讲解Hadoop各版... 阅读全文
posted @ 2015-01-07 18:41 凝静志远 阅读(2072) 评论(0) 推荐(0)
YARN ：Architecture
摘要：Apache Hadoop NextGen MapReduce (YARN)MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we call, MapReduce 2.0 (MRv2) o... 阅读全文
posted @ 2015-01-06 22:21 凝静志远 阅读(266) 评论(0) 推荐(0)
MapReduce基础知识
摘要：hadoop版本：1.1.2一、Mapper类的结构Mapper类是Job.setInputFormatClass()方法的默认值，Mapper类将输入的键值对原封不动地输出。org.apache.hadoop.mapreduce.Mapper类的结构如下：public class Mapper {... 阅读全文
posted @ 2015-01-06 22:01 凝静志远 阅读(405) 评论(0) 推荐(0)
NameNode & DataNode
摘要：NameNode类位于org.apache.hadoop.hdfs.server.namenode包下。NameNode serves as both directory namespace manager and "inode table" for the Hadoop DFS. There is... 阅读全文
posted @ 2015-01-06 21:55 凝静志远 阅读(297) 评论(0) 推荐(0)
配置服务器有错/usr/libexec/gconf-sanity-check-2的退出状态为256
摘要：问题描述：CentOS启动的时候报如下错误：“配置服务器有错/usr/libexec/gconf-sanity-check-2的退出状态为256” 问题原因：在装hadoop的时候误删了/tmp文件或者改变/tmp权限导致的。 解决方案：1.在报错的界面按住 Ctrl + Alt + F2 进入虚拟... 阅读全文
posted @ 2014-12-29 10:52 凝静志远 阅读(2317) 评论(0) 推荐(0)
hadoop1.1.2安装过程
摘要：实验环境：VMware 10.0.1+CentOS-6.6-i386 +jdk-6u24-linux-i586+hadoop-1.1.2.tar.gz普通用户：michael集群规划：1台master+3台slave主机名 IP地址 master01 192.168.31.11... 阅读全文
posted @ 2014-12-28 22:54 凝静志远 阅读(418) 评论(0) 推荐(0)