2012年7月18日
摘要: 分析版本为hbase 0.94附上趋势团队画的图:rpc角色表:HBase通信信道HBase的通信接口客户端服务端HBase ClientMaster ServerHMasterInterfaceHBase ClientRegion ServerHRegionInterfaceRegion ServerMaster ServerHMasterRegionInterface客户端发起请求:htable.get(Get)public Result get(final Get get) throws IOException {return new ServerCallable<Result&g 阅读全文
posted @ 2012-07-18 15:36 架构师刀哥 阅读(2120) 评论(0) 推荐(0) 编辑
  2012年7月16日
摘要: 去年的生日记 : http://user.qzone.qq.com/195514374/infocenter#!app=2&via=QZ.HashRefresh&pos=1307538684当天收到明日航空(我只坐过海南航空啊)祝福短信 本公司祝福短信 在日本的素未谋面的一个工大哥们儿人人网留言 吉元早上九点的微信留言我爸的生日祝福当天因为项目立项加班到11点,所以基本因工作毫无安排。25岁你要怎么样?有很多的朋友有很好的人脉。 done更职业化,对得起自己微薄的薪水 done攒够5w done体重到60kg,65更好,长不高就算了 58.5~60.0徘徊 done去没去过的一 阅读全文
posted @ 2012-07-16 00:15 架构师刀哥 阅读(201) 评论(0) 推荐(0) 编辑
  2012年7月11日
摘要: 使用filter需要guava jar包The Guava project contains several of Google's core libraries that we rely on in our Java-based projects: collections, caching, primitives support, concurrency libraries, common annotations, string processing, I/O, and so forth.否则出错:java.lang.NoClassDefFoundError: com/google/ 阅读全文
posted @ 2012-07-11 14:51 架构师刀哥 阅读(1839) 评论(0) 推荐(0) 编辑
  2012年7月5日
摘要: Htable主要提供表内的操作,put,delete,get,scan等操作HTablePool 可以建立池,存储HTableInterface接口的实现对象,一般是Htable,避免创建Htable的消耗。HTablePool 默认创建方式:new HTablePool(conf, poolSize);使用这种方式得到的Htable,无法设置autoflush,在速度要求高可以容忍数据丢失场景中,会降低3/4左右的速度。查看HTablePool创建方法发现,HTable由其内部参数HTableFactory创建,没有做任何设置因此新建类HTableBufferFactory implemen 阅读全文
posted @ 2012-07-05 17:13 架构师刀哥 阅读(1040) 评论(0) 推荐(0) 编辑
  2012年6月16日
摘要: 无法直接dump,写了java多线程程序做迁移问题1:Operation not allowed after ResultSet closed裸jdbc语句,一个线程跑7个表,只有第一个表时候出这个问题,方法改为static synchronized可以解决,但速度慢的不能忍受,最终在同事建议下,换用spring jdbctemplate,解决问题2:SELECT `token`, `count` FROM {TABLE_NAME} ORDER BY `token` DESC LIMIT ?, ? 到100w后速度不能忍受的慢问题场景为遍历数据库,可以记录上次的最大token,然后 where 阅读全文
posted @ 2012-06-16 20:04 架构师刀哥 阅读(552) 评论(0) 推荐(0) 编辑
  2012年6月12日
摘要: 1 java.io.IOException: java.io.IOException: java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 4做简单的incr操作时出现,原因是之前put时放入的是int 长度为vlen=4 ,不适用增加操作,只能改为long型 vlen=82 写数据到column时 org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException:Failed1action 阅读全文
posted @ 2012-06-12 14:29 架构师刀哥 阅读(29304) 评论(2) 推荐(1) 编辑
  2012年5月28日
摘要: 解决数据库多写问题,同事推荐使用hbase,并做了HBase培训,也看到老大tim参会说淘宝用hbase替代部分mysql核心应用,学习研究下看是否适用分布式计算的谬论.:1 The network is reliable.2 Latency is zero.3 Bandwidth is infinite.4 The network is secure.5 Topology doesn't change.6 There is one administrator.7 Transport cost is zero.8 The network is homogeneous.下载版本0.92. 阅读全文
posted @ 2012-05-28 14:02 架构师刀哥 阅读(1103) 评论(0) 推荐(0) 编辑
  2012年5月23日
摘要: 项目代码的异常类型为500 400 没有404错误线上却偶尔报404错误,导致成功率低于99%追查发现是由于一个空指针错误,未被捕获抛出指定项目异常mark 阅读全文
posted @ 2012-05-23 10:01 架构师刀哥 阅读(257) 评论(0) 推荐(0) 编辑
  2012年5月17日
摘要: DUPLICATE KEY UPDATE batch执行时出死锁错误背景知识一、 mysql insert 与 duplicate key:典型的插入语句:多条:INSERT INTO tablename (columnA, columnB, columnC)VALUES ('a', 1, 2), ('b', 7, 5)单条:INSERT INTO tablename SET columnA='a', columnB=1, columnC=2复制:INSERT [options1] [INTO] tablename [ (columnlist) 阅读全文
posted @ 2012-05-17 13:39 架构师刀哥 阅读(8478) 评论(0) 推荐(0) 编辑
  2012年5月15日
摘要: 安装下载rpm版本 server安装rpm -ivh MySQL-server-5.5.24-1.linux2.6.i386.rpm出错1error: Failed dependencies:MySQL conflicts with mysql-5.0.77-4.el5_4.2.x86_64MySQL conflicts with mysql-5.0.77-4.el5_4.2.i386[root@vm10100030 ~]# rpm -e mysql-5.0.77-4.el5_4.2.x86_64 --nodeps[root@vm10100030 ~]# rpm -e mysql-5.0.77 阅读全文
posted @ 2012-05-15 10:15 架构师刀哥 阅读(233) 评论(0) 推荐(0) 编辑