摘要：
zookeeper NIOServerCnxn: Too many connections from /10.202.50.79 - max is 60 异常解决办法 今天在对zookeeper做连接的时候，发现只能连接10个，然后开始报zookeeper NIOServerCnxn: Too many connections 错误，调试了半天看不出问题所在，后来一次跟踪调试的时候，发现zkserver 出现too many 一闪而过，才发现是zookeeper 服务端配置问题。解决方法:将最大连接数我这设置成了300，后来发现仍然提示同样的问题，最大连接数并没有起作用，根据属性提示，直接修改 阅读全文
随笔分类 - Hadoop
分布式实时统计系统--RAINBIRD
2012-03-20 17:15 by xlw, 554 阅读, 收藏, 编辑
摘要：
最近Twitter开发了一款分布式实时统计系统Rainbird。用处Rainbird可以用于实时数据的统计：1 统计网站中每一个页面，域名的点击次数2 内部系统的运行监控（统计被监控服务器的运行状态）3 记录最大值和最小值性能要求作为大型网站的分布式应用，需要具备以下性能：1 极高的写入性能，可以达到100,000的WPS2 非常高的读取性能，可以达到10,000s的RPS3 高度的可扩展性，包括读取和存储等等，能够扩展到100+ TB的量级4 读取速度响应间隔短，绝大多数的读取速度应该不超过100ms系统组件Rainbird一款基于Zookeeper, Cassandra, Scribe, 阅读全文
zookeeper windows安装和使用
2012-03-15 16:42 by xlw, 3950 阅读, 收藏, 编辑
摘要：
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html 这个页面上的步骤完成安装，这里主要介绍下部署一个集群的步骤，因为这个官方页面似乎讲得并不是非常详细(Running Replicated Zookeepe 阅读全文
在.NET平台下使用C#通过Thrift访问Cassandra
2012-03-15 14:43 by xlw, 1039 阅读, 收藏, 编辑
摘要：
几家做seo无耻公司名单http://www.byywee.comhttp://www.cosdiv.com通过在自已网站加入别人网站连接，这种网站专门对新开通的网站做连接,从而达到宣传他们目的，http://www.renrenaj.com/about/copyright.html1、下载Thrift两个文件:thrift-0.7.0.tar.gzThrift compiler for Windows2、获取Thrift.dll解压后，找到源代码：thrift-0.7.0\lib\csharp\src，在Visual Studio中打开Thrift.csproj，重新编译生成dll。3、生成 阅读全文
thrift 安装(1)
2012-03-15 10:32 by xlw, 504 阅读, 收藏, 编辑
摘要：
thrift背景：出自facebook，2007年提交给apache 作为一个开源项目.thrift解决的问题：解决facebook的各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性，所以thrift可以支持多种程序语言.thrift支持的语言： C++, C#, Cocoa, Erlang, Haskell, Java, Ocami, Perl, PHP, Python, Ruby, Smalltalk等thrift的优势：跨平台，多语言，支持二进制高性能传输，体积超小，占用带宽小thrift的劣势：必须的先确定数据结构，当数据结构发生变化是，必须重新生成代码。thrift 阅读全文
看看thrift 是怎么玩的
2012-03-14 17:53 by xlw, 725 阅读, 收藏, 编辑
摘要：
1. 基本名词 Types： 为了满足多语言平台的要求，需要提供基本数据类型来进行转换。比如在C++的Map和Python的Dict之间能够相互转换。 Transport: 对于每一种语言，都应该有一个抽象的公共层来完成对应的双向数据传输。 Protocal： 数据需要有一种方式来使用对应的传输层的code，而不用关心传输层的具体实现细节。 Versioning：数据需要有自己的版本号来实现对应的健壮性。 Processing ： 产生code来完成RPC调用。2. 类型 1. Goals： 1. 使用最基本的数据类型，不管上层使用怎么样的编程语言。 2. 不使用动态数... 阅读全文
Apache Thrift入门1-架构&介绍
2012-03-14 17:26 by xlw, 306 阅读, 收藏, 编辑
摘要：
Thrift 是什么？ Thrift源于大名鼎鼎的facebook之手，在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传 输通信以及系统之间语言环境不同需要跨平台的特性。所以thrift可以支持多种程序语言，例如: C++, C#, Cocoa, Erlang, Haskell, Java, Ocami, Perl, PHP, Python, Ruby, Smalltalk. 在多种不同的语言之间通信thrift可以作为二进制的高性能的通讯中间件，支持数据(对象) 阅读全文