问题解决 - 随笔分类 - 一心行走

Mycat本地模式的自增长分表操作

摘要：Mycat对表t_rc_rule_monitor做分表操作在mysql上执行（没有t_rc_rule_monitor） DROP TABLE IF EXISTS t_rc_rule_monitor;CREATE TABLE t_rc_rule_monitor( id int(20) NULL au 阅读全文

posted @ 2017-08-08 18:32 一心行走阅读(670) 评论(0) 推荐(0)

启动mongodb报错问题

摘要：[root@zk-datanode-02 mongodb]# bin/mongod -f config/mongo.cnf &[1] 30549[root@zk-datanode-02 mongodb]# 2017-06-09T07:13:09.423+0000 F CONTROL [main] F 阅读全文

posted @ 2017-06-10 09:32 一心行走阅读(927) 评论(0) 推荐(0)

Azkban上传文件报错installation Failed.Error chunking

摘要：azkaban 上传文件报错Caused by: java.sql.SQLException: The size of BLOB/TEXT data inserted in one transaction is greater than 10% of redo log size. Increase 阅读全文

posted @ 2017-06-05 15:22 一心行走阅读(1688) 评论(0) 推荐(0)

Hadoop一些问题总结

摘要：1、运行mr程序出错 connecting to resoucemanager retrying .... retrying ..... 原因是没有启动yarn或者启动失败 2、初始化工作目录结构 hdfs namenode -format 只是初始化了namenode的工作目录而datanode 阅读全文

posted @ 2017-05-23 21:52 一心行走阅读(354) 评论(0) 推荐(0)

Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6

摘要：Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6 原因是缺少tools.jar的依赖，tools.jar在jdk的安装目录中提供了，所以改成如下形式解决此问题：添加依赖阅读全文

posted @ 2017-05-23 21:47 一心行走阅读(1683) 评论(0) 推荐(0)

HDFS冗余数据块的自动删除

摘要：HDFS冗余数据块的自动删除在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏，所以造成了HDFS上某些block的阅读全文

posted @ 2017-05-23 21:43 一心行走阅读(473) 评论(0) 推荐(0)

Hadoop本地调试

摘要：windows上先调试该程序，然后再转到linux下。程序运行的过程中，报 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executabl 阅读全文

posted @ 2017-05-23 21:38 一心行走阅读(258) 评论(0) 推荐(0)

Hadoop部署启动异常问题排查

摘要：hadoop的日志目录（/home/hadoop/app/hadoop-2.6.4/logs） 1、hadoop启动不正常用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里： a、在服务器的终端命令行使用jps查看相关进程（namenode1个节点 datanode3个节点阅读全文

posted @ 2017-05-23 21:31 一心行走阅读(691) 评论(0) 推荐(0)

hadoop datanode节点超时时间设置

摘要：datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * 阅读全文

posted @ 2017-05-23 21:24 一心行走阅读(1357) 评论(0) 推荐(0)

解决"libc.so.6: version `GLIBC_2.14' not found"问题

摘要：试图运行程序，提示"libc.so.6: version `GLIBC_2.14' not found",原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的：问题Centos 自动更新glibc-2.14 2.查看系统glibc支持的版本： strings /lib64/li 阅读全文

posted @ 2017-05-18 20:47 一心行走阅读(2188) 评论(0) 推荐(0)

一心行走

随笔分类 - 问题解决

公告