lz3018

摘要： SeqReader是我定义的一个读取SequenceFile文件，并将部分（key，value）打印到控制台窗口的类，其完整代码如下：  关于生成可执行jar包，这里只说几点需要注意的地方，详细信息可以参考：http://www.cnblogs.com/lz3018/p/5228639.html 1 阅读全文

摘要： 1)子类对象引用转变为父类的引用，称为向上转型。按照目前的理解，向上转型的一个重要作用就是方便实现多态，在向上转型的过程中，相对于父类来说，子类多余的方法丢失，也就是访问不到了。不过再通过向下转型就可以访问了。 2)父类对象引用转化为子类引用，称为向下转型。使用向下转型之前，最好使用A instan 阅读全文

摘要： 使用hdfs的api接口分别实现从本地上传文件到集群和从集群下载文件到本地。 1）上传文件主要是使用FileSystem类的copyFromLocalFile()方法来实现，另外我们上传文件时可以指定以多大的物理块来存储此文件，使用conf.set("dfs.block.size","8388608 阅读全文

摘要： 1)IDEA中文乱码，解决方法：http://blog.csdn.net/zht666/article/details/8953516 2)卸载OpenJdk，http://my.oschina.net/lxrm/blog/110638?fromerr=WFdow8FP 3)Java包命名规范，ht 阅读全文

摘要： 还是计算矩阵的乘积，待计算的表达式如下： S=F*[B+mu(u+s+b+d)] 其中，矩阵B、u、s、d分别存放在名称对应的SequenceFile文件中。 1)我们想分别读取这些文件（放在不同的文件夹中）然后计算与矩阵F的乘积，这就需要使用MultipleInputs类，那么就需要修改main( 阅读全文

摘要： 虽然是在IDEA中完成了使用分布式缓存的方法进行矩阵乘积，不过当将源码编译，打成jar包，上传到集群上运行的时候却一直报“ no job jar file set”,"ClassNotFound"，其实就是找不到jar包，原因应该是与昨天更改了系统环境有关(因为使用hadoop自带的WordCoun 阅读全文

摘要： 1）“no job jar file set”原因 又是被折腾了一下午呀~~，“no job jar file set”就是找不到作业jar包的意思，然后就是提示找不到自定义的MyMapper类，一般原因是没有设置jar包的类,也就是在配置作业的时候，没有如下这行代码： but，最悲催的就是，我真的 阅读全文

摘要： 使用分布式缓存有两点需要注意，这是今天折腾了一天的体会。 1）利用DistributedCache类添加缓存文件的语句要紧紧跟在Configuration实例之后 原先添加在第9行，运行一直报“空引用”的错，将 DistributedCache.addCacheFile(new URI(cacheP 阅读全文

摘要： 之前博客里介绍了如何自定义DoubleArrayWritable，并将该类型的value写入SequenceFile文件中，为了能够使用命令查看这个文件中的内容(果然坑都是一步一步给自己挖的)参考了网友博客的内容，将DoubleArrayWritable类型打成Jar包，然后将这个Jar包的路径添加 阅读全文

摘要： 深刻的体会就是，“java.lang.NullPointer.Exception”就是空指针异常可能是由于数组部分元素未被初始化引起的。 1）使用jmatio将mat数据转化为SequenceFile形式的数据，代码如下： 1 /** 2 * Created with IntelliJ IDEA. 阅读全文