随笔分类 -  Hadoop

ambari安装问题

摘要：1.Heartbeat lost for the host ambari-agent [root@oc-data-141 ~]# ambari-agent status —查看客户端状态 [root@oc-data-141 ~]# tailf /var/log/ambari-agent/ambari 阅读全文

posted @ 2018-06-06 16:31 Brown羊羊 阅读(931) 评论(0) 推荐(0)

hadoop配置文件含义

摘要：1.core-site.xml <property> <name>fs.trash.interval</name> <value>360</value> </property> hadoop默认垃圾回收保存时间，分钟 2.mapreduce.input.linerecordreader.line.m 阅读全文

posted @ 2018-06-06 16:24 Brown羊羊 阅读(278) 评论(0) 推荐(0)

Hadoop常用命令

摘要：1.启动hadoop 进入HADOOP_HOME sh bin/start-all.sh 2.关闭hadoop 进入HADOOP_HOME sh bin/stop-all.sh 3.查看/tmp目录下文件 hadoop fs -ls /tmp hadoop fs -lsr /tmp —递归查看包括子 阅读全文

posted @ 2018-06-06 16:19 Brown羊羊 阅读(134) 评论(0) 推荐(0)

hadoop使用FAQ

摘要：1.Hive任务内存溢出 hive执行select day_id,count(1) from ti_94014_signal_physics_yyyymmddhh group by day_id; Mapreduce报错 报错： For more detailed output, check app 阅读全文

posted @ 2018-06-06 16:17 Brown羊羊 阅读(600) 评论(0) 推荐(0)

kerberos在rehl6和7不兼容问题

摘要：klist -ekt hdfs.service.keytab 这个命令在两个系统中执行下，就能看出哪个不一样 有两种方法解决 删除指定用户不一致的部分 [root@admin temp]# ktutil ktutil: rkt /root/temp/hdfs.service.keytab ktuti 阅读全文

posted @ 2018-06-06 16:14 Brown羊羊 阅读(168) 评论(0) 推荐(0)

zookeeper使用场景

摘要：在粗粒度分布式锁，分布式选主，主备高可用切换等不需要高 TPS 支持的场景下有不可替代的作用，而这些需求往往多集中在大数据、离线任务等相关的业务领域，因为大数据领域，讲究分割数据集，并且大部分时间分任务多进程 / 线程并行处理这些数据集，但是总是有一些点上需要将这些任务和进程统一协调，这时候就是 Z 阅读全文

posted @ 2018-06-06 16:12 Brown羊羊 阅读(89) 评论(0) 推荐(0)

hadoop中使用shell判断HDFS文件是否存在

摘要：在linux文件系统中，我们可以使用下面shell脚本判断： if [ ! -f "$file" ];then echo "文件不存在" fi 同样hadoop内置了提供了判断某个文件是否存在的命令 hadoop fs -test -d 判断<path>是否是目录 -e 判断<path>是否存在 - 阅读全文

posted @ 2018-05-25 10:23 Brown羊羊 阅读(6913) 评论(0) 推荐(0)