摘要： Apache Maven 是做什么用的？ 作者：George Ma 写这个 maven 的入门篇是因为之前在一个开发者会的动手实验中发现挺多人对于 maven 不是那么了解，所以就有了这个想法。这个入门篇分上下两篇。本文着重动手，用 maven 来构建运行 hellow world 程序，体会一下不 阅读全文

摘要： 六、密钥生成的步骤 我们通过一个例子，来理解RSA算法。假设爱丽丝要与鲍勃进行加密通信，她该怎么生成公钥和私钥呢？ 第一步，随机选择两个不相等的质数p和q。 爱丽丝选择了61和53。（实际应用中，这两个质数越大，就越难破解。） 第二步，计算p和q的乘积n。 爱丽丝就把61和53相乘。 n = 61× 阅读全文

摘要： 在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误： 这个错误在Hadoop mapreduce bug的信息页面（https://issues.apache.org/jira/browse/MAPREDUCE-5655）已经解决了，且影响的版本是Hadoop2.2、H 阅读全文

摘要： 在hadoop中处理复杂业务时，需要用到复合键，复合不同于单纯的继承Writable接口，而是继承了 WritableComparable<T>接口，而实际上，WritableComparable<T>接口继承了 Writable和Comparable<T>接口，如果只需要使用某一个类作为传值对象而 阅读全文

摘要： 向生成好的hdfs文件中追加内容，但是线上使用的版本是1.0.3，查看官方文档发现，在1.0.4版本以后才支持文件append 以下是向hdfs中追加信息的操作方法 如果你只在某一个driver中追加内容信息，不必要对于整个HDFS都开启内容追加： 在某个方法中，追加文件信息： 使用以上方法，便可以 阅读全文

摘要： Hadoop提供了较为丰富的数据输入输出格式，可以满足很多的设计实现，但是在某些时候需要自定义输入输出格式。 数据的输入格式用于描述MapReduce作业的数据输入规范，MapReduce框架依靠 数据输入格式完后输入规范检查（比如输入文件目录的检查），对数据文件进行输入分块（InputSpilt） 阅读全文

摘要： 现实环境中，常常遇到一个问题就是想使用多个Reduce，但是迫于setup和cleanup在每一个Reduce中会调用一次，只能设置一个Reduce，无法是实现负载均衡。 问题，如果要在reduce中输出两种文件，一种是标志，另一种是正常业务数据，实现方案有三种： （1）设置一个reduce，在re 阅读全文

摘要： } 参考文献：http://blog.csdn.net/waldmer/article/details/13503867 阅读全文

摘要： 来自：http://blog.xlvector.net/2014-01/flume-spooldir-source-problem/ （ 自己写的插件，数据序列化，格式化抛出的异常都会导致flume停止，不能继续取数据，异常可以自己处理 ） 最近在用Flume做数据的收集。用到了里面的Spooldi 阅读全文

摘要： 把Flume的Source设置为 Spooling directory source，在设定的目录下放置需要读取的文件，一些文件在读取过程中会报错。 文件格式和报错如下： 实验一 读取汉子和“；"符号的TXT文档 会报一下错误 实验二 读取数字和”；“符号的TXT文档 报错 此报错与前面的报错相同。 阅读全文