上一页 1 ··· 87 88 89 90 91 92 93 94 95 ··· 119 下一页

2013年6月7日

hadoop获取context的当前输出路径,

摘要: 我想看一下路径,然后判断文件是否存在?你妹的,真麻烦? 找个半天,用import org.apache.hadoop.io.MapFile;这个类,很恶心,自己查。 知道肯定跟Configuration,查了半天用这个: String name =context.getConfigurati... 阅读全文

posted @ 2013-06-07 21:19 代码王子 阅读(185) 评论(0) 推荐(0)

hadoop文件输出控制,多路径输出到不同文件

摘要: hadoop的map和reduce的输出路径是通过两个函数设定: FileInputFormat.setInputPaths(job, args[0]); FileOutputFormat.setOutputPath(job, new Path(args[1])); 然后,用context类型对... 阅读全文

posted @ 2013-06-07 21:10 代码王子 阅读(445) 评论(0) 推荐(0)

2013年6月6日

Adding client to server's list failed, CORBA error: IDL:omg.org/CORBA/COMM_FAILURE:1.0

摘要: 强行关闭虚拟机后造成了两个问题, 第一,centos再次启动后,图形界面变得黑乎乎的一片,报出一大堆错误,其中一个是Gconf Error: Adding client to server's list failed, CORBA error: IDL:omg.org/CORBA/COMM_... 阅读全文

posted @ 2013-06-06 10:34 代码王子 阅读(357) 评论(0) 推荐(0)

2013年6月5日

hadoop启动后进safemode不出来

摘要: 今天在测试的时候,数据正在入库。突然断电了。 重启动以后,启动./start-dfs.sh以后,查看日志,会报出 2012-04-13 15:39:43,208 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 8020, c... 阅读全文

posted @ 2013-06-05 19:43 代码王子 阅读(301) 评论(0) 推荐(1)

2013年5月30日

ant如何使用——初学者一篇通

摘要: 在学习struts+spring+hibernate,尤其是Appfuse的过程中大量涉及到ant的使用,因此我觉得有必要对ant做个比较深入的学习,以下是在学习过程中搜集的材料。比较详细,很适合没有接触过ant的初学者。 Ant基本使用指南 1 Ant是什么? Apache Ant 是一个... 阅读全文

posted @ 2013-05-30 20:28 代码王子 阅读(267) 评论(0) 推荐(0)

2013年5月29日

hadoop输出控制,输出到指定文件中

摘要: 最近在研究将hadoop输出内容放到指定的文件夹中, (未完待续) 以wordcount内容为例子: public class wordcount { public static class TokenizerMapper extends Mapper ... 阅读全文

posted @ 2013-05-29 20:15 代码王子 阅读(199) 评论(0) 推荐(0)

2013年5月28日

hadoop jar包中mapred和mapreduce的区别

摘要: 两个package都能实现map reduce计算过程。mapred老,基本不用,mapreduce是新。 (先引个别人的,自己的以后再写) FileInputFormat和FileOutputFormat在mapred和mapreduce中都有定义,刚开始脑海里对这些都没有概念,就引用了m... 阅读全文

posted @ 2013-05-28 19:48 代码王子 阅读(292) 评论(0) 推荐(0)

2013年5月22日

linux下用户命令

摘要: 查看用户: /etc/group文件 (用cat /etc/passwd |cut -f 1 -d :)??? 或者:cat /etc/passwd 1、建用户: adduser phpq //新建phpq用户 passwd phpq //给phpq用户设置密码 2、建工作组 ... 阅读全文

posted @ 2013-05-22 16:30 代码王子 阅读(100) 评论(0) 推荐(0)

python option.parser

摘要: OptionParer模块:、 测试代码如下 #!/usr/bin/python from optparse import OptionParser parser = OptionParser() parser.add_option ("-d","--date",dest="data",help... 阅读全文

posted @ 2013-05-22 10:45 代码王子 阅读(83) 评论(0) 推荐(0)

2013年5月21日

virtualbox安装CentOS无法上网

摘要: 为了安装hadoop,可以修改一下对应的虚拟机网络配置,参看:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 写的非常好! linux的网络配置:http://wenku.baidu.com/view/1ee2a... 阅读全文

posted @ 2013-05-21 17:24 代码王子 阅读(132) 评论(0) 推荐(0)

上一页 1 ··· 87 88 89 90 91 92 93 94 95 ··· 119 下一页

导航