一心行走

2017年5月23日

Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6

摘要： Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6 原因是缺少tools.jar的依赖，tools.jar在jdk的安装目录中提供了，所以改成如下形式解决此问题：添加依赖阅读全文

posted @ 2017-05-23 21:47 一心行走阅读(1694) 评论(0) 推荐(0)

HDFS冗余数据块的自动删除

摘要： HDFS冗余数据块的自动删除在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏，所以造成了HDFS上某些block的阅读全文

posted @ 2017-05-23 21:43 一心行走阅读(477) 评论(0) 推荐(0)

Hadoop本地调试

摘要： windows上先调试该程序，然后再转到linux下。程序运行的过程中，报 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executabl 阅读全文

posted @ 2017-05-23 21:38 一心行走阅读(261) 评论(0) 推荐(0)

Hadoop部署启动异常问题排查

摘要： hadoop的日志目录（/home/hadoop/app/hadoop-2.6.4/logs） 1、hadoop启动不正常用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里： a、在服务器的终端命令行使用jps查看相关进程（namenode1个节点 datanode3个节点阅读全文

posted @ 2017-05-23 21:31 一心行走阅读(705) 评论(0) 推荐(0)

hadoop datanode节点超时时间设置

摘要： datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * 阅读全文

posted @ 2017-05-23 21:24 一心行走阅读(1364) 评论(0) 推荐(0)

2017年5月18日

解决"libc.so.6: version `GLIBC_2.14' not found"问题

摘要：试图运行程序，提示"libc.so.6: version `GLIBC_2.14' not found",原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的：问题Centos 自动更新glibc-2.14 2.查看系统glibc支持的版本： strings /lib64/li 阅读全文

posted @ 2017-05-18 20:47 一心行走阅读(2197) 评论(0) 推荐(0)

redis参数配置

摘要： redis.conf配置文件配置项值说明 slave-read-only yes slave是否只读 slave-serve-stale-data yes 当slave与master断开连接，slave是否继续提供服务 appendonly yes 开启aof daemonize yes 守护阅读全文

posted @ 2017-05-18 20:42 一心行走阅读(489) 评论(0) 推荐(0)

redis集群搭建

摘要：一、redis集群说明集群采用一主三从，总共3主9从，总共12台，每个机房中放置一主三从每个机房中放置其他机房的一从，达到高可用性二、集群搭建 1.redis集群的搭建 1.1修改系统参数 1.使用root账户修改 /etc/security/limits.conf 添加 * soft nof 阅读全文

posted @ 2017-05-18 20:40 一心行走阅读(306) 评论(0) 推荐(0)

Zookeeper安装

摘要：（1）解压 tar -zxvf zookeeper-3.4.5.tar.gz（2）重命名 mv zookeeper-3.4.5 zookeeper（重命名文件夹 zookeeper-3.4.5为zookeeper）（3）修改环境变量 vi ~/.bash_profile 添加内容： export Z 阅读全文

posted @ 2017-05-18 20:37 一心行走阅读(171) 评论(0) 推荐(0)

Codis的了解和操作

摘要： 1、Codis的基本架构 2、Codis各组件 Codis-server:就是redis服务，可以使用codis修改的reids和原生的redis Codis-proxy:客户端连接的代理服务，客户端可以直接连 Codis-dashboard:集群管理工具，对codis-proxy,和codis-s 阅读全文

posted @ 2017-05-18 20:35 一心行走阅读(1866) 评论(0) 推荐(0)

公告