摘要: 一个很不错得截图工具~~KSnapshot是KDE集成桌面环境自带的截图工具,不过在GNOME集成桌面环境下也可以安装和使用它。我们可以通过新立得软件包管理器或使用apt-get命令来安装它。假设使用命令行方式来安装,打开一个GNOME终端窗口,在终端窗口中输入如下命令: sudo apt-get install ksnapshot 命令执行后,将在线下载并安装KSnapshot。安装完毕后,在菜单“应用程序”→“图像”下找到“KSnapshot”项,点击该项则运行KSnapshot程序(如图4)。 KSnapshot功能非常强大,提供的截图模式有全屏(Full Screen)、光... 阅读全文
posted @ 2013-03-08 21:03 dandingyy 阅读(673) 评论(0) 推荐(1) 编辑
摘要: 1.安装OpenSSH服务器 一般用ps -e查看会发现只有ssh-agent进程. 使用sudo apt-get install ssh 安装ssh服务器,结束后使用ps -e | grep ssh会看到多了一个sshd进程,这就是ssh服务器进程 2.ssh配置 OpenSSH守护进程在Red Hat中使用/etc/ssh/sshd_config配置文件,一般使用其默认配置即可。 启动OpenSSH服务,使用/sbin/service sshd start命令(一般在安装完成后sshd会自动启用,所以这步其实可以省略),然后使用ps -e看到多了一个sshd... 阅读全文
posted @ 2013-03-08 21:00 dandingyy 阅读(399) 评论(0) 推荐(0) 编辑
摘要: 首先明确:1.Hadoop不支持全局变量,也不建议使用全局变量。 我的理解是,这是因为hadoop具有map类和reducer类,并且不同的task一般执行的是不同的map或reduce。所以全局变量是无法传递的。(但是一般情况下,我们也许会需要一个对于所有map和reduce都能访问的全局变量),暂时我知道的解决方法如下:2.如果Mapper类和Reducer类都是主类的内部类,可以在主类中使用 private static string global = "global variable"; 但是这种方法不通用,因为Mapper类和Reducer类在概念上是与主类无关的 阅读全文
posted @ 2013-03-08 20:55 dandingyy 阅读(5396) 评论(0) 推荐(0) 编辑
摘要: 简单的pageRank实现参考:http://wlh0706-163-com.iteye.com/blog/1397694较为复杂的PR值计算以及在hadoop上的实现:http://deathspeeder.is-programmer.com/posts/31349.htmlpageRank算法的基本思想是:网页的热门程度依赖指向它的网页的热门程度。也许google当初的PageRank网页排名有着很严密的数学逻辑推导,但在编程的时候实现这种数学推导困难很大,用的更多的是另外一个超级简单的数学公式,同样可以实现将网页排名的目的。PageRank原理分析举例来讲:假设每个网页都有一个自己的默认 阅读全文
posted @ 2013-03-08 20:52 dandingyy 阅读(6477) 评论(1) 推荐(0) 编辑
摘要: 1.单个文件的压缩或解压import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io 阅读全文
posted @ 2013-03-08 20:36 dandingyy 阅读(490) 评论(0) 推荐(0) 编辑
摘要: 众所周知,Hadoop对处理单个大文件比处理多个小文件更有效率,另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。1,getmergehadoop有一个命令行工具getmerge,用于将一组HDFS上的文件复制到本地计算机以前进行合并参考:http://hadoop.apache.org/common/docs/r0.19.2/cn/hdfs_shell.html使用方法:hadoop fs -getmerge <src> <localdst> [addnl]接受一个源目录和一个目标文件作为输入,并且将源目录中所有的文件连接成本地目标文件。addnl是可 阅读全文
posted @ 2013-03-08 20:33 dandingyy 阅读(21298) 评论(1) 推荐(0) 编辑
摘要: 装好hadoop,但是一直出现问题,总结如下:排错到现在,最大的感觉是,也许你的错误表象跟网上说的一样,但是解决方法会大有不同,只能说这种错误是同一问题(如namenode出错)导致,但是究竟是什么行为导致这个问题,每个人也许都不相同,所以重点是找到自己的操作时的错误所在.1.Too many fetch-failures错误问题介绍:http://blog.csdn.net/liangliyin/article/details/6455713网上的解决方案:1)Answer:(http://www.hadoopor.com/thread-71-1-1.html) 出现这个问题主要是结点间的. 阅读全文
posted @ 2013-03-08 20:30 dandingyy 阅读(1620) 评论(1) 推荐(0) 编辑
摘要: 文章转自:http://blog.csdn.net/heyutao007/article/details/5890103趁这个时候,顺便把hadoop的用于比较的Writable, WritableComparable, Comprator等搞清楚。。1.二次排序概念:首先按照第一字段排序,然后再对第一字段相同的行按照第二字段排序,注意不能破坏第一次排序的结果 。如: 输入文件:20 21 50 51 50 52 50 53 50 54 60 51 60 53 60 52 60 56 60 57 70 58 60 61 70 5... 阅读全文
posted @ 2013-03-08 20:26 dandingyy 阅读(9396) 评论(1) 推荐(0) 编辑
摘要: 解决参考:http://blog.csdn.net/hongweigg/article/details/7203749我的过程是:1。在run configuration中 Arguments/VM arguments加上如下语句:2.如果不行可以在properities/java build path中添加:library/add external folder, 选择/home/kqiao/hadoop-0.20.203.0/lib/native/Linux-i386-32 阅读全文
posted @ 2013-03-08 20:22 dandingyy 阅读(2607) 评论(0) 推荐(0) 编辑
摘要: 全部程序如下:import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSys 阅读全文
posted @ 2013-03-08 20:20 dandingyy 阅读(6244) 评论(0) 推荐(0) 编辑