摘要：
* 1、设置url支持hadoop，FsUrlStreamHandlerFactory * 2、创建URL对象，指定访问的HDFS路径 * 3、openStream获取输入流对象，也就是读取的内容 * 4、使用Hadoop的OIUtils工具类对输入流输出到控制台 public static void main(String[] args) throws Exception { //通过e... 阅读全文
posted @ 2014-03-11 18:07
向着梦想奋斗
阅读(1524)
评论(0)
推荐(0)
摘要：
vi打开配置文件后显示E297: Write error in swap file，检查磁盘发现磁盘满了。使用du –max-depth=1 | sort –n –r 查找大文件所在位置并删除。 阅读全文
posted @ 2014-03-11 17:48
向着梦想奋斗
阅读(5557)
评论(0)
推荐(1)
摘要：
有一天早上到公司用hive中查询数据，发现报错不能连接。通过检查发现mysql服务器没有启动，开启mysql服务器后查询正常。 阅读全文
posted @ 2014-03-11 17:42
向着梦想奋斗
阅读(1219)
评论(0)
推荐(0)
摘要：
执行stop-hbase.sh关闭Hbase服务器，提示一直在等待，查阅了很多网上的资料找到了答案。因为hbase的主要信息存储在zookeeper集群中，zookeeper集群没有正常启动会导致hbase不能正常关闭。 通过jps查看集群中的zookeeper服务，找到没有启动的服务器并启动zookeeper服务。 重新执行stop-hbase.sh 正常关闭。 阅读全文
posted @ 2014-03-11 17:40
向着梦想奋斗
阅读(3716)
评论(0)
推荐(0)
摘要：
java.lang.ClassCastException: partition.KpiWritable cannot be cast to org.apache.hadoop.io.LongWritable at partition.KpiApp$MyPartition.getPartition(KpiApp.java:1) at org.apache.hadoop.mapred.MapTask$... 阅读全文
posted @ 2014-03-11 17:28
向着梦想奋斗
阅读(979)
评论(0)
推荐(0)
摘要：
14/02/28 20:29:48 INFO mapred.JobClient: Task Id : attempt_201402281833_0004_m_000000_1, Status : FAILED java.lang.RuntimeException: java.lang.ClassNotFoundException: cmd.CmdWordCount$MyMapper at org.... 阅读全文
posted @ 2014-03-11 17:26
向着梦想奋斗
阅读(1664)
评论(0)
推荐(0)
摘要：
[root@h1 ~]# hadoop jar W1.jar hdfs://h1:9000/hello hdfs://h1:9000/cmd Exception in thread "main" java.lang.ClassNotFoundException: hdfs://h1:9000/hello at java.lang.Class.forName0(Native Method) at j... 阅读全文
posted @ 2014-03-11 17:25
向着梦想奋斗
阅读(10043)
评论(0)
推荐(0)
摘要：
13480253104 mapreduce.KpiWritable@486a58c4 13502468823 mapreduce.KpiWritable@3de9d100 13560439658 mapreduce.KpiWritable@419876c1 13600217502 mapreduce.KpiWritable@9c9a8c 13602846565 mapreduce.KpiWrita... 阅读全文
posted @ 2014-03-11 17:22
向着梦想奋斗
阅读(420)
评论(0)
推荐(0)
摘要：
使用fileSystem的delete方法无法删除文件或目录 Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://h1:9000/out, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.j... 阅读全文
posted @ 2014-03-11 17:21
向着梦想奋斗
阅读(50473)
评论(0)
推荐(1)
摘要：
方式1（不推荐）：注释hadoop-config.sh中的 if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then echo "Warning: \$HADOOP_HOME is deprecated." 1>&2 echo 1>&2 fi 方式2:：修改环境变量 可以是用当前用户的环境变量也可以是全局环... 阅读全文
posted @ 2014-03-11 17:20
向着梦想奋斗
阅读(436)
评论(0)
推荐(0)
浙公网安备 33010602011771号