摘要: /Files/chenli0513/1249564182_21200268.rar摩尔定律是由英特尔（Intel）创始人之一戈登·摩尔（Gordon Moore）提出来的。其内容为：当价格不变时，集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到的电脑性能，将每隔18个月翻两倍以上。这一定律揭示了信息技术进步的速度阅读全文
posted @ 2012-01-17 11:29 陈力 阅读(17) | 评论 (0) 编辑 |
01 2012 档案
摘要: lee1@ubuntu:/home/app/hadoop-0.20.203.0$ sudo bin/hadoop namenode -format12/01/15 04:58:28 INFO namenode.NameNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = ubuntu/127.0.1.1STARTUP_MSG: args = [-format]STARTUP_MSG: ver阅读全文
posted @ 2012-01-15 21:44 陈力 阅读(107) | 评论 (0) 编辑 |
摘要: Youridentificationhasbeensavedin/home/chenli0513/.ssh/id_dsa.Yourpublickeyhasbeensavedin/home/chenli0513/.ssh/id_dsa.pub.Thekeyfingerprintis:eb:f3:63:93:0e:8b:73:25:ad:37:84:00:0f:a0:0d:1cchenli0513@ubuntuThekey'srandomartimageis:+--[DSA1024]----+|oEo.||=o||..+||o||.So||o.+||o=.||.o+oB||.oo*o+|+阅读全文
posted @ 2012-01-11 01:06 陈力 阅读(19) | 评论 (0) 编辑 |
摘要: 一:zookeeper如何分配region的问题二:hive 在hbase里存储的mapreduce过程三:hbase存储结构(不同数据类型)四:数据的牵移与备份阅读全文
posted @ 2012-01-10 20:27 陈力 阅读(42) | 评论 (0) 编辑 |
摘要: 转载于:http://www.javabloger.com/article/apache-hadoop-hive-hbase-integration.htmlHive入门3–Hive与HBase的整合 Apache Hive入门2 Apache Hive入门1 开场白：Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers)， 大致意思如图所示：口水：对 hive_hbase-handler.jar 这个东东还有点兴趣，有空来磋磨一下。一、2个注意事项：1阅读全文
posted @ 2012-01-10 17:16 陈力 阅读(41) | 评论 (0) 编辑 |
摘要: 转载 http://www.javabloger.com/article/hadoop-mapreduce-hbase.html我的废话：本文提供代码示例，但是不讲述mapreduce对HBase代码层面的细节，主要讲述我片面的理解和体会。最近看见Medialets(Ref)在网站架构中提到对MapReduce使用的经验分享，采用HDFS作为MapReduce分布式计算的基础环境，基于Python的MapReduce框架计算具体的内容，将计算的结果写入MongoDB中存储，对外宣称每秒1可以处理百万级的业务事件，可见MapReduce的运用场景在越来越多的丰富起来，说明除了Google和Yah阅读全文
posted @ 2012-01-10 17:10 陈力 阅读(119) | 评论 (0) 编辑 |
摘要: 1. database replication, log replication等， 如bdb的数据复制就是使用paxos兼容的算法。Paxos最大的用途就是保持多个节点数据的一致性。2. naming service, 如大型系统内部通常存在多个接口服务相互调用。1) 通常的实现是将服务的ip/hostname写死在配置中，当service发生故障时候，通过手工更改配置文件或者修改DNS指向的方法来解决。缺点是可维护性差，内部的单元越多，故障率越大。2) LVS双机冗余的方式，缺点是所有单元需要双倍的资源投入。通过Paxos算法来管理所有的naming服务，则可保证high availabl阅读全文
posted @ 2012-01-10 15:48 陈力 阅读(20) | 评论 (0) 编辑 |
摘要: In a typical Hadoop MapReduce job, input files are read from HDFS. Data are usually compressed to reduce the file sizes. After decompression, serialized bytes are transformed into Java objects before being passed to a user-defined map() function. Conversely, output records are serialized, compressed阅读全文
posted @ 2012-01-10 11:39 陈力 阅读(79) | 评论 (0) 编辑 |
摘要: 2.选择安装 openjdk-6-jdk(.........) apt-get install openjdk-6-jdk 3.文件都装那里去了呢？ 搜寻了一下发现文件安装在 :/usr/lib/jvm/java-6-sun-1.6.0.03 下了。 /usr/lib/jvm/java-6-sun 是/usr/lib/jvm/java-6-sun-1.6.0.03 的符号链接4.设置JAVA_HOME变量 编辑/etc/profile文件，添加如下内容： JAVA_HOME=/usr/lib/jvm/java-6-sun (............) exportJAVA_HOME 注意，..阅读全文
posted @ 2012-01-09 18:07 陈力 阅读(12) | 评论 (0) 编辑 |
摘要: 一直在找这个sun-java6-jdk 这个安装文件，从外国一位网友的以reply post 里面发现了一个回答looks like oracle just changed the package names to get ride of 'sun' from the name原来是oracle 收购sun后，做的一个去sun化(去蒋化)的一个举措。。。。。。华丽的分割线。 我总是做很多猜想，往往答案与我预想的差不多。阅读全文
posted @ 2012-01-09 16:49 陈力 阅读(33) | 评论 (0) 编辑 |
摘要: 假如我将我要分割的文本,分布到多台机器上就行统计词频率最后的统计,是不是还是会把统计结果发到一台机器,来统计频率,肯定这样做法就不行的,那么mapreuce是如何来统计的呢?mapping和reducing函数不是仅接收数值（Values），而是（键，值）对。这些函数的每一个输出都是一样的：都是一个键和一个值，它们将被送到数据流的下一个列表。 对于Mapper和Reducer是如何工作的，MapReduce没有像其它语言那样严格。在更正式的函数式mapping和reducing设置中，mapper针对每一个输入元素都要生成一个输出元素，reducer针对每一个输入列表都要生成一个输出元素。但.阅读全文
posted @ 2012-01-09 12:17 陈力 阅读(43) | 评论 (0) 编辑 |
摘要: This is a tutorial on how to run a map reduce job on Hbase. This covers version 0.20 and later.Recommended Readings:-Hbase home,-Hbase map reduce Wiki-Hbase Map Reduce Package- Greatintro to Hbase map reduceby George LarsVERSION DIFFERENCEHadoop map reduce API changed around v0.20. So did Hbase map 阅读全文
posted @ 2012-01-06 16:49 陈力 阅读(86) | 评论 (0) 编辑 |
摘要: 对于HBase这种类似BigTable的系统，其优化之一是消除了磁盘的随机写。付出的代价是将最新的数据保存在内存表中，对内存有较大的需求。如果内存表的数量较多，则每个内存表就会在较小的时候刷到磁盘，导致磁盘文件多而且小。范围读取数据的时候就会跨多个数据文件甚至多个节点。为提升读性能，系统都会设计有compaction操作。另外为了防止某些情况下数据文件过大（hbase.hregion.max.filesize，默认256M，太大的数据文件在compaction等操作是对内存的消耗更大），HBase也设计了split操作。Compaction和Split操作，对于在线应用的响应时间都容易造成波动阅读全文
posted @ 2012-01-06 15:45 陈力 阅读(117) | 评论 (0) 编辑 |
摘要: HBase中的Client如何路由到正确的RegionServer在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭秘这个过程。在前面的文章“HBase存储架构”中我们已经讨论了HBase基本的存储架构。在此基础上我们引入两个特殊的概念：-ROOT-阅读全文
posted @ 2012-01-06 15:31 陈力 阅读(463) | 评论 (0) 编辑 |
摘要: 第一部分、mapreduce模式与hadoop框架深入浅出架构扼要 想读懂此文，读者必须先要明确以下几点，以作为阅读后续内容的基础知识储备：Mapreduce是一种模式。Hadoop是一种框架。Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。 所以，你现在，知道了什么是mapreduce，什么是hadoop，以及这两者之间最简单的联系，而本文的主旨即是，一句话概括：在hadoop的框架上采取mapreduce的模式处理海量数据。下面，咱们可以依次深入学习和了解mapreduce和hadoop这两个东西了。Mapreduce模式 前面说了，mapreduce是一种模式，阅读全文
posted @ 2012-01-06 14:57 陈力 阅读(324) | 评论 (0) 编辑 |
摘要: 1，通过Zookeeper定位目标Region Server，最后定位Region。2，Region Server扩容，通过将自身发布到Master，Master均匀分布。Cassandra和HBase主要设计思路对比CassandraHBase一致性Quorum NRW策略通过Gossip协议同步Merkle Tree，维护集群节点间的数据一致性单节点，无复制，强一致性可用性1，基于Consistent Hash相邻节点复制数据，数据存在于多个节点，无单点故障。2，某节点宕机，hash到该节点的新数据自动路由到下一节点做 hinted handoff，源节点恢复后，推送回源节点。3，通过Go阅读全文
posted @ 2012-01-06 11:58 陈力 阅读(112) | 评论 (0) 编辑 |
posted @ 2012-01-05 18:15 陈力 阅读(16) | 评论 (0) 编辑 |
摘要: 我在2011年,通过游泳,跑步,骑自行车,去健身俱乐部,修复了部分身体因为长期在办公室的一些职业病。长期不运动，当人需要运动时，你会发现各种不舒服的症状出现，当你回到办公环境，似乎又正常了。 大学时期经常打球，运动，喜欢这里跑，那里跑，当你工作的时候，你会发现你有做不完的事，一件压一件的过来，这样长期的工作环境，会让你身体素质下降。 回想一下，自己如果不是在2011年，通过这些恢复性训练。自己可能已经是张孝祥了。总之，就是希望所有的亲人，好朋友们，同事们，在新的一年，健健康康，顺心如意。阅读全文
posted @ 2012-01-04 16:34 陈力 阅读(32) | 评论 (0) 编辑 |
摘要: 化繁就简,迎接2012的第一天!在下载网络图片的时候,一块很大的图片,你当然不可能一次下载完成,当然要块byte再紧接着块byte的下载问题由此产生.....问题代码如下:using (var stream = response.GetResponseStream()) { int length = (int)response.ContentLength; byte[] bytes = new byte[length]; int numBytesToRead = (int)length; int numBytesRead = 0; int readcount = 2000; while (nu阅读全文
posted @ 2012-01-01 12:29 陈力 阅读(343) | 评论 (0) 编辑 |