hequn8128

摘要： 1.hadoop DistributedCache使用。Hadoop有一个叫做分布式缓存(distributed cache)的机制来将数据分发到集群上的所有节点上。为了节约网络带宽，在每一个作业中，各个文件通常只需要复制到一个节点一次。缓存文件复制位置：mapred-site.xml中mapred.local.dir/home/hadoop/tmp操作步骤：1.将数据的分发到每个节点上：Configuration conf = new Configuration();DistributedCache.addCacheFile(new URI("/user/hadoop/input/ 阅读全文

摘要： http://docs.oracle.com/javase/1.5.0/docs/guide/jni/spec/types.html#wp9502 阅读全文

摘要： 一些遇到的异常和解决方法：https://github.com/wbsg/ldif/wiki/Hadoop-troubleshooting 阅读全文

摘要： 1.http://www.blogjava.net/hello-yun/archive/2012/05/03/377250.html2.http://blog.csdn.net/franklysun/article/details/6424582主要按第一个来安装，第二个说得比较详细。 阅读全文

摘要： http://blog.jobbole.com/52144/ 阅读全文

摘要： 声明：本文主要参考http://www.linuxidc.com/Linux/2012-12/75535.htm，如有侵权，请通知删除。按照上面的参考实现了一遍，碰到了一些问题，还有一些该注意的地方，以下详细阐述。尝试分两个阶段进行：阶段一：在linux跑通一个单机版的JNI程序，即用java调用c++。阶段二：将上面的程序放到hadoop上跑通。阶段一：1.创建一个工程文件夹jni1，jni1下创建bin和src文件夹。[hadoop@Master jni1]$ mkdir bin[hadoop@Master jni1]$ mkdir src在src里创建FakeSegmentForJni. 阅读全文

摘要： 参考资料：1.http://www.cnblogs.com/bastard/archive/2012/05/17/2506877.html2.http://www.ibm.com/developerworks/cn/java/l-linux-jni/3.http://watershitter.iteye.com/blog/477615主要参考资料1程序流程貌似是TestWordJni.class调用WordJni.class，WordJni.class调用libWordJni.so。因为我把其他文件（.java .h .c)删了都没事，WordJni.class不能删。1.创建.java文件i 阅读全文

摘要： 本文档前提在hadoop已成功安装，hadoop安装见http://www.cnblogs.com/hequn/articles/3438301.html一、安装ntp1.各个节点进行源安装，[root@Master Hadoop]#yum install ntp，我这个系统安装好后就安装好了。2.对Master节点/etc/ntp.conf进行配置# For more information about this file, see the man pages# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), 阅读全文

摘要： 一、centos安装 1.硬盘分区。原先xp64位系统，包含两个盘C，D。扩展出一个100G的逻辑分区出来安装centos6.4。 2.刻录安装盘。镜像放在实验室ftp的虚拟机与镜像文件夹内。我试过win7下硬盘安装，可以成功，但是xp64位下硬盘安装的话，老是出现“ An error occurred finding the installation image on your hard drive”的问题，尝试了各种分区方案，引导方案都无解。最后无奈，只能光盘安装。后来发现光盘安装实际上比硬盘安装要方便多了，因为省了好多分区和复制文件的操作，特别对于集群来说，要安装多台机子，硬盘安装就更烦 阅读全文

摘要： 思路：异或操作，相同的两个数异或得到为0，这样n个数异或的结果是数组里唯一为单的数。java:public class Main { public int singleNumber(int[] A) { int sz = A.length; sz--; while (sz > 0) { A[0] ^= A[sz]; sz--; } return A[0]; } public static void main(String[] args) { int[] A = { 1, 2, 1, 2, 4 }; Main obj = new Main(); System.out.pr... 阅读全文