2018年6月6日

ambari安装问题

摘要： 1.Heartbeat lost for the host ambari-agent [root@oc-data-141 ~]# ambari-agent status —查看客户端状态 [root@oc-data-141 ~]# tailf /var/log/ambari-agent/ambari 阅读全文

posted @ 2018-06-06 16:31 Brown羊羊 阅读(950) 评论(0) 推荐(0)

hadoop配置文件含义

摘要： 1.core-site.xml <property> <name>fs.trash.interval</name> <value>360</value> </property> hadoop默认垃圾回收保存时间，分钟 2.mapreduce.input.linerecordreader.line.m 阅读全文

posted @ 2018-06-06 16:24 Brown羊羊 阅读(288) 评论(0) 推荐(0)

Hadoop常用命令

摘要： 1.启动hadoop 进入HADOOP_HOME sh bin/start-all.sh 2.关闭hadoop 进入HADOOP_HOME sh bin/stop-all.sh 3.查看/tmp目录下文件 hadoop fs -ls /tmp hadoop fs -lsr /tmp —递归查看包括子 阅读全文

posted @ 2018-06-06 16:19 Brown羊羊 阅读(147) 评论(0) 推荐(0)

hadoop使用FAQ

摘要： 1.Hive任务内存溢出 hive执行select day_id,count(1) from ti_94014_signal_physics_yyyymmddhh group by day_id; Mapreduce报错 报错： For more detailed output, check app 阅读全文

posted @ 2018-06-06 16:17 Brown羊羊 阅读(610) 评论(0) 推荐(0)

kerberos在rehl6和7不兼容问题

摘要： klist -ekt hdfs.service.keytab 这个命令在两个系统中执行下，就能看出哪个不一样 有两种方法解决 删除指定用户不一致的部分 [root@admin temp]# ktutil ktutil: rkt /root/temp/hdfs.service.keytab ktuti 阅读全文

posted @ 2018-06-06 16:14 Brown羊羊 阅读(178) 评论(0) 推荐(0)

zookeeper使用场景

摘要： 在粗粒度分布式锁，分布式选主，主备高可用切换等不需要高 TPS 支持的场景下有不可替代的作用，而这些需求往往多集中在大数据、离线任务等相关的业务领域，因为大数据领域，讲究分割数据集，并且大部分时间分任务多进程 / 线程并行处理这些数据集，但是总是有一些点上需要将这些任务和进程统一协调，这时候就是 Z 阅读全文

posted @ 2018-06-06 16:12 Brown羊羊 阅读(99) 评论(0) 推荐(0)