林六天

摘要： 最近做的一个hadoop项目中，用MR实现了一个比较复杂的问题，其中的日志信息都是使用的是log4j来处理的。但不知怎么控制台不输出日志信息，只能输出System.out.println()信息，这个调试带了很多的麻烦再次记录一下，怎么在控制台输出日志信息。在debug模式中，选择Arguments... 阅读全文

摘要： 今天在写一个MR的时候，用到了combiner。在使用过程中，遇到了一些问题，特此记录一下。Combiner分为两种，一种是可插拔的，一种是不可插拔的。可插拔的：Combiner和Reduce的处理逻辑是一样的，可以直接使用Reduce类进行处理。如果去掉Combiner，不影响结果。不可插拔：Co... 阅读全文

摘要： 今天重新安装ambari过程中，遇到了几个问题，耗费了我很长时间，在此记录一下ambari重新安装可参考我之前的一篇随笔http://www.cnblogs.com/6tian/p/4097401.html遇到的问题一：此问题是在安装第二步，注册主机时遇到的('ERROR 2015-02-06 20... 阅读全文

摘要： 在Java项目开发中，字符串是最长使用的数据类型，而有关字符串的String、StringBuilder、StringBuffer三者又常常让人分不清楚什么时候该使用哪个。特此整理一下。String字符串常量 大家都知道String是一个不可变的类，任何对String的改变都会引发新的String... 阅读全文

摘要： js实现的一个验证码功能，可以在前端判断验证码输入是否正确输入的邮箱格式是否正确验证成功后才提交action到后台 1 2 3 4 无标题页 5 23 99 100 101 102 103 104 105 106 107 10... 阅读全文

摘要： 在linux平台中相关的MySql操作打开Mysqlmysql -uroot -p //-u后边为用户名，-p后边为密码1:使用SHOW语句找出在服务器上当前存在什么数据库：mysql> SHOW DATABASES;2:2、创建一个数据库MYSQLDATAmysql> CREATE DATABAS... 阅读全文

摘要： 控制map个数的核心源码 1 long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); 2 3 //getFormatMinSplitSize 默认返回1，getMinSplitSize 为用户设置的最小分片数... 阅读全文

摘要： 需求分析：要想实现A（jsp网站）和B（discuz论坛）的同步，这里说的同步指的是在AB网站任意一方注册之后在另一方都可以直接登录AB两网站之间的用户登陆状态是同步的，在任意一方登录后，另一方也是登陆状态在AB网站任意一方修改信息后，另一方同步修改要想实现同步功能，可以利用官方提供的UCenter... 阅读全文

摘要： 今天在做项目的时候遇到了一个很有意思的问题，折磨了我很长时间，不过最终还是解决了，特留此文纪念一下。遇到的问题：同样一段代码，在同事那就好使，在我这就找不到一个方法。引用的包也都是相同的，这种问题还是第一次遇到，怎么办呢？找啊找啊找原因，查看引用的包，才发现我所引用的包名和同事引用的包名是相同的，不... 阅读全文

摘要： 今天由于所以要安装spark做一些实验。我已有的环境是：操作系统：CentOS6.5hadoop：hadoop2.4.1JDK：1.7集群环境：四个节点闲话不说，以下是我的安装步骤：说明：下边的这些安装都是先在master节点上安装。安装完成后将scala和spark传到其他节点。Spark采用的是... 阅读全文