邱明成

摘要： 在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的 Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均 值能代表的价值降低。Hiv 阅读全文

摘要： 1.图解MapReduceMapReduce整体流程图 并行读取文本中的内容，然后进行MapReduce操作 Map过程：并行读取三行，对读取的单词进行map操作，每个词都以<key,value>形式生成 reduce操作是对map的结果进行排序，合并，最后得出词频。 2.简单过程： Input: 阅读全文

摘要： 当你使用synchronized关键字的时候，是通过互斥器来保障线程安全以及对共享资源的同步访问。线程间也经常需要更进一步的协调执行，来完成复杂的并发任务，比如wait/notify模式就是一种在多线程环境下的协调执行机制。 通过API来获取和释放锁（使用互斥器）或者调用wait/notify等方法 阅读全文

摘要： tomcat的运行模式有3种.修改他们的运行模式.3种模式的运行是否成功,可以看他的启动控制台,或者启动日志.或者登录他们的默认页面http://localhost:8080/查看其中的服务器状态。 1)bio 默认的模式,性能非常低下,没有经过任何优化处理和支持. 2)nio 利用java的异步i 阅读全文

摘要： 此文是rocketmq作者vintage.wang所写，对于每项对比，后面都增加了我的观点，有不对的地方，请各位指出。 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Li 阅读全文

摘要： 前言 今天是个开心的日子，又是周末，可以轻轻松松的写写文章了。去年，我写了ENode 1.0版本，那时我也写了一个分析系列。经过了大半年的时间，我对第一个版本做了很多架构上的改进，最重要的就是让ENode实现了分布式，通过新增一个分布式消息队列EQueue来 实现。之所以要设计一个分布式的消息队列是 阅读全文

摘要： 今天在统计页面上发现有个节点丢失了，经过仔细分析后，发现同一个节点上的二个应用(同时监控zk)其中一个丢失了一个event，检查zk cluster没有发现异常。。。 通过网络搜寻，出现miss event的情况说的都是监听前已经有node，删除后才register，所以这属于正常现象。 排除网络问 阅读全文

摘要： 上一篇介绍了基于ZK的ActiveMQ HA方案，虽然理解起来比较容易，但是有二个不足： 1) 占用的节点数过多，1个zk集群至少3个节点，1个activemq集群也至少得3个节点，但其实正常运行时，只有一个master节点在对外响应，换句话说，花6个节点的成本只为了保证1个activemq mas 阅读全文

摘要： 分布式任务调度是非常常见的一种应用场景，一般对可用性和性能要求不高的任务，采用单点即可，例如linux的crontab，spring的quarz，但是如果要求部署多个节点，达到高可用的效果，上面的方案就不适用了。 实际上任务调度的实现有两种情况，第一种是通过mq来实现，mq做好了数据切分，负载均衡的 阅读全文

摘要： java.lang.ClassCastException: org.springframework.web.filter.CharacterEncodingFilter cannot be cast to javax.servlet.Filter at org.apache.catalina.cor 阅读全文