摘要: ###需求大约200W条数据,批量从mysql中读取,然后根据主键再从hbase读数据进行关联,最后再update到数据库中###同步解决方案同步解决方案,也是最接近人脑思考顺序的方案是,分页mysql读取id集合,每页1k条数据,然后拿着idList批量从nosql的hbase中进行数据的获取,进... 阅读全文
posted @ 2014-12-10 11:23 qiushizhu 阅读(4015) 评论(8) 推荐(6) 编辑
摘要: ###背景无论业务上的数据怎么膨胀,哪怕是今天的大数据时代,数据处理的结果都是要给人来看的。对于业务和决策方来说,一个清晰的报表在数据时代是如虎添翼的。而对于开发人员来说,一个灵活易用的报表生成工具,也是能够节省大量的重复开发,起到事半功倍的效果。有篇文章介绍了目前存在的12款优秀的报表工具,有桌面... 阅读全文
posted @ 2014-11-07 11:56 qiushizhu 阅读(10085) 评论(1) 推荐(0) 编辑
摘要: 命令如下 find . -name "*.svn" | xargs rm -rf 阅读全文
posted @ 2014-09-21 11:02 qiushizhu 阅读(787) 评论(0) 推荐(0) 编辑
摘要: 1.查看Apache的并发请求数及其TCP连接状态: Linux命令: netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 返回结果示例: LAST_ACK 5 SYN_RECV 30 ESTA... 阅读全文
posted @ 2014-09-21 11:00 qiushizhu 阅读(774) 评论(0) 推荐(0) 编辑
摘要: 背景 从2011年元月开始,淘女郎团队http://mm.taobao.com/开始引入敏捷开发的思路到现在已经有半年的时间了。回顾这半年多来的工作,有成长也有不足。 记得刚开始引入敏捷开发模式的时候,大家都有点像傻傻的孩子,毫无头绪,当时我们的测试MM从别的团队搞过来一些敏捷约定文档来给我们做参考... 阅读全文
posted @ 2014-09-21 10:45 qiushizhu 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 团队内部分享tair的时候做的演讲稿[http://dl.iteye.com/topics/download/a2b64567-5197-3e0b-8937-9d0910ab8c0c](http://dl.iteye.com/topics/download/a2b64567-5197-3e0b-89... 阅读全文
posted @ 2014-09-21 10:40 qiushizhu 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 重点介绍下,在tair客户端和服务端传输数据的过程中,各种类型的数据是如何转换成字节码来进行传输的。[http://files.cnblogs.com/lynnwong/Tair%E4%B8%AD%E7%9A%84%E7%B1%BB%E5%9E%8B%E8%BD%AC%E6%8D%A2.pdf](h... 阅读全文
posted @ 2014-09-21 10:38 qiushizhu 阅读(112) 评论(0) 推荐(0) 编辑
摘要: 附件是2011.11.26在杭州举行的敏捷之旅杭州站会议时我的演讲的PPT[http://files.cnblogs.com/lynnwong/scrumintstar.pdf](PPT 下载地址) 阅读全文
posted @ 2014-09-21 10:34 qiushizhu 阅读(177) 评论(0) 推荐(0) 编辑
摘要: ----------##Bug场景##sku价格比较 @Override public boolean checkSKUEqualPrice(ItemDO itemDO) { boolean result = true; List list=itemDO.getSkuList(); ... 阅读全文
posted @ 2014-09-20 23:37 qiushizhu 阅读(458) 评论(0) 推荐(0) 编辑
摘要: ##背景在google发布GFS和Map Reduce的两篇论文之后,围绕着大数据各种实现如雨后春笋般的产生,而其中的佼佼者非hadoop家族莫属。有了类似hadoop的开源实现后,使得数据的采集变得更加廉价,机器学习的价值更加提高。因此熟悉hadoop,了解hadoop的运作机制,对于开发人员提出... 阅读全文
posted @ 2014-09-20 23:18 qiushizhu 阅读(1321) 评论(2) 推荐(1) 编辑