摘要：
###需求大约200W条数据，批量从mysql中读取，然后根据主键再从hbase读数据进行关联，最后再update到数据库中###同步解决方案同步解决方案，也是最接近人脑思考顺序的方案是，分页mysql读取id集合，每页1k条数据，然后拿着idList批量从nosql的hbase中进行数据的获取，进... 阅读全文
posted @ 2014-12-10 11:23
qiushizhu
阅读(4048)
评论(8)
推荐(6)
摘要：
###背景无论业务上的数据怎么膨胀，哪怕是今天的大数据时代，数据处理的结果都是要给人来看的。对于业务和决策方来说，一个清晰的报表在数据时代是如虎添翼的。而对于开发人员来说，一个灵活易用的报表生成工具，也是能够节省大量的重复开发，起到事半功倍的效果。有篇文章介绍了目前存在的12款优秀的报表工具，有桌面... 阅读全文
posted @ 2014-11-07 11:56
qiushizhu
阅读(10403)
评论(1)
推荐(0)
摘要：
命令如下 find . -name "*.svn" | xargs rm -rf 阅读全文
posted @ 2014-09-21 11:02
qiushizhu
阅读(790)
评论(0)
推荐(0)
摘要：
1.查看Apache的并发请求数及其TCP连接状态： Linux命令： netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 返回结果示例： LAST_ACK 5 SYN_RECV 30 ESTA... 阅读全文
posted @ 2014-09-21 11:00
qiushizhu
阅读(810)
评论(0)
推荐(0)
摘要：
背景 从2011年元月开始，淘女郎团队http://mm.taobao.com/开始引入敏捷开发的思路到现在已经有半年的时间了。回顾这半年多来的工作，有成长也有不足。 记得刚开始引入敏捷开发模式的时候，大家都有点像傻傻的孩子，毫无头绪，当时我们的测试MM从别的团队搞过来一些敏捷约定文档来给我们做参考... 阅读全文
posted @ 2014-09-21 10:45
qiushizhu
阅读(236)
评论(0)
推荐(0)
摘要：
团队内部分享tair的时候做的演讲稿[http://dl.iteye.com/topics/download/a2b64567-5197-3e0b-8937-9d0910ab8c0c](http://dl.iteye.com/topics/download/a2b64567-5197-3e0b-89... 阅读全文
posted @ 2014-09-21 10:40
qiushizhu
阅读(174)
评论(0)
推荐(0)
摘要：
重点介绍下，在tair客户端和服务端传输数据的过程中，各种类型的数据是如何转换成字节码来进行传输的。[http://files.cnblogs.com/lynnwong/Tair%E4%B8%AD%E7%9A%84%E7%B1%BB%E5%9E%8B%E8%BD%AC%E6%8D%A2.pdf](h... 阅读全文
posted @ 2014-09-21 10:38
qiushizhu
阅读(123)
评论(0)
推荐(0)
摘要：
附件是2011.11.26在杭州举行的敏捷之旅杭州站会议时我的演讲的PPT[http://files.cnblogs.com/lynnwong/scrumintstar.pdf](PPT 下载地址) 阅读全文
posted @ 2014-09-21 10:34
qiushizhu
阅读(185)
评论(0)
推荐(0)
摘要：
----------##Bug场景##sku价格比较 @Override public boolean checkSKUEqualPrice(ItemDO itemDO) { boolean result = true; List list=itemDO.getSkuList(); ... 阅读全文
posted @ 2014-09-20 23:37
qiushizhu
阅读(469)
评论(0)
推荐(0)
摘要：
##背景在google发布GFS和Map Reduce的两篇论文之后，围绕着大数据各种实现如雨后春笋般的产生，而其中的佼佼者非hadoop家族莫属。有了类似hadoop的开源实现后，使得数据的采集变得更加廉价，机器学习的价值更加提高。因此熟悉hadoop，了解hadoop的运作机制，对于开发人员提出... 阅读全文
posted @ 2014-09-20 23:18
qiushizhu
阅读(1331)
评论(2)
推荐(1)
浙公网安备 33010602011771号