随笔分类 - 异常总结
摘要：安装好集群后运行hadoop-mapreduce-examples.jar 报错，比对cdh配置后，发现少了yarn.application.classpath，conf目录一定要配置，否则也会出现以上错误。yarn-site.xml添加 yarn.application.classpath /...
阅读全文
摘要：【解决】HDFS HA无法自动切换问题原因：最早设置为root互相登录，可是zkfc服务是hdfs账号运行的，没有权限访问到root的id_rsa文件。更改为hdfs账号免密钥登录恢复正常。zkfc错误日志：来自为知笔记(Wiz)
阅读全文
摘要：14/04/11 17:59:44 ERROR hdfs.DFSClient: Failed to close file /wlan_out/_temporary/_attempt_local_0001_r_000000_0/part-r-00000org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.nameno...
阅读全文
摘要：java.util.regex.PatternSyntaxException: Dangling meta character '*' near index 0*&*^ at java.util.regex.Pattern.error(Pattern.java:1924) at java.util.regex.Pattern.sequence(Pattern.java:2090) at java....
阅读全文
摘要：14/03/26 23:10:04 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISE...
阅读全文
摘要：14/03/26 23:03:55 ERROR tool.BaseSqoopTool: Got error creating database manager: java.io.IOException: No manager for connect string: jdbc:mysq://c6h2:3306/log at org.apache.sqoop.ConnFactory.getManage...
阅读全文
摘要：14/03/26 22:43:24 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driverjava.lang.RuntimeException: Could not load db driver ...
阅读全文
摘要：配置完成Mysql存储元数据信息，启动后测试show tables报错ERROR exec.DDLTask: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStor...
阅读全文
摘要：ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.IllegalArgumentException: Does not contain a valid host;port authority 这个问题找了很久的原因没找到，最后通过强大的google才找到一篇文章写着linux系统不能有下划线，果断更改主机名，格式化成功。
阅读全文
摘要：Exception in thread "main" org.apache.hadoop.hbase.TableNotDisabledException: org.apache.hadoop.hbase.TableNotDisabledException: log2 at org.apache.hadoop.hbase.master.HMaster.checkTableModifiable(HMa...
阅读全文
摘要：1、检查namenode服务器的是否运行正常，我的问题是没有开启hadoop集群出现的。 2、检查namenode服务器的防火墙是否开放的响应端口，一般内网建议关闭。
阅读全文
摘要：vi打开配置文件后显示E297: Write error in swap file，检查磁盘发现磁盘满了。使用du –max-depth=1 | sort –n –r 查找大文件所在位置并删除。
阅读全文
摘要：有一天早上到公司用hive中查询数据，发现报错不能连接。通过检查发现mysql服务器没有启动，开启mysql服务器后查询正常。
阅读全文
摘要：执行stop-hbase.sh关闭Hbase服务器，提示一直在等待，查阅了很多网上的资料找到了答案。因为hbase的主要信息存储在zookeeper集群中，zookeeper集群没有正常启动会导致hbase不能正常关闭。 通过jps查看集群中的zookeeper服务，找到没有启动的服务器并启动zookeeper服务。 重新执行stop-hbase.sh 正常关闭。
阅读全文
摘要：java.lang.ClassCastException: partition.KpiWritable cannot be cast to org.apache.hadoop.io.LongWritable at partition.KpiApp$MyPartition.getPartition(KpiApp.java:1) at org.apache.hadoop.mapred.MapTask$...
阅读全文
摘要：14/02/28 20:29:48 INFO mapred.JobClient: Task Id : attempt_201402281833_0004_m_000000_1, Status : FAILED java.lang.RuntimeException: java.lang.ClassNotFoundException: cmd.CmdWordCount$MyMapper at org....
阅读全文
摘要：[root@h1 ~]# hadoop jar W1.jar hdfs://h1:9000/hello hdfs://h1:9000/cmd Exception in thread "main" java.lang.ClassNotFoundException: hdfs://h1:9000/hello at java.lang.Class.forName0(Native Method) at j...
阅读全文
摘要：13480253104 mapreduce.KpiWritable@486a58c4 13502468823 mapreduce.KpiWritable@3de9d100 13560439658 mapreduce.KpiWritable@419876c1 13600217502 mapreduce.KpiWritable@9c9a8c 13602846565 mapreduce.KpiWrita...
阅读全文
摘要：使用fileSystem的delete方法无法删除文件或目录 Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://h1:9000/out, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.j...
阅读全文
摘要：方式1（不推荐）：注释hadoop-config.sh中的 if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then echo "Warning: \$HADOOP_HOME is deprecated." 1>&2 echo 1>&2 fi 方式2:：修改环境变量 可以是用当前用户的环境变量也可以是全局环...
阅读全文
浙公网安备 33010602011771号