摘要： fold和reduce都要求函数的返回值类型需要和我们所操作的RDD类型相同，但是我们有时确实需要一个不同类型的返回值。eg: 在计算平均值时，需要记录便利过程中的计数以及元素的数量，这就需要我们返回一个二元组。可以先对数据使用map操作，来把元素转移为改元素和1的二元组，也就是我们希望的返回类型。 阅读全文

摘要： 当hadoop集群如上篇博客CentOS6.5上搭建hadoop 2.5.2 笔记配置成功后，其他配置就容易了许多。下面来记录zookeeper的配置过程，1、在下载的zookeeper 压缩包中，并不包含真正使用的配置文件，而是一个/conf/zoo_sample.cfg文件,需要使用复制命令复制... 阅读全文

摘要： 引用swiper后，在网站加载时浏览器控制台会报错，如下图所示：建议不使用Source Map功能，请把js压缩文件最后一行//# sourceMappingURL=maps/swiper.min.js.map 删掉。以免在某些浏览器出现以下提示：//# sourceMappingURL=maps/... 阅读全文

摘要： 规划 三台机器，1、master 192.168.79.1352、slave1 192.168.79.1313、slave2 192.168.79.132OS:CentOS6.5hadoop:hadoop-2.5.2jdk：1.7.0_67由于使用vmware，为了方便，采用clone操作，在... 阅读全文

摘要： 对于普通单线程单例来说，较为容易，只要避免创建多个对象即可，代码如下: 这样既可以避免创建多个对象消耗系统资源，也可以达到惰性加载，即在使用时才会创建对象； 在单线程时，该类可以很完美的解决单例问题，但是到了多线程，该类将会出现问题： 当两个线程A和B 同时调用单例获得实例时，若A进入getInst 阅读全文

摘要： 最近在做分析程序优化过程中，需要增加分析程序日志，但是在hadoop上运行时，是需要使用hadoop自身的log4j来进行日志输出，若想要将自定义的log4j日志内容输出独立的日志文件，需要修改hadoop自身log4j配置文件，并需要重启hadoop集群，这、、有点摊上大事的赶脚，所以还是需要其他... 阅读全文

摘要： 这几天一直在搞一个预警监控后台程序，其他都搞定了，最纠结的就是那个每天固定时间执行的问题，纠结的原因主要是对Timer的方法没有搞清楚，timer.schedule(TimerTask task,long l1,long l2);可以很明显的知道在l1时间段以后执行task，然后每l2时间执行一... 阅读全文

摘要： 最近做项目用solr，之前使用的时候没怎么注意，每次都是直接使用solrServer.query(SolrQuery);使用测试查询表达式什么问题都没有遇到过，等到上线后，产品发现他们的表达式一查就空白的，去后台看下发现报错了：org.apache.solr.client.solrj.SolrS... 阅读全文

摘要： 最近在做一个项目，需要生成9000个号码，为了方便系统分离合并，采用dubbo实现，在本地测试生成时什么问题都没有，顺顺利利的实现生成并显示状态，可是每次调用dubbo服务时就会产生异常，每当想要生成200个号码的时候，它会生成400个或者600，很显然它是执行了三次，也就是服务调了三次，看后台总是... 阅读全文

摘要： Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.3.2:compile (default-compile改变系统的jdk而不是jre或者升级jdk版本即可解决问题， 阅读全文