Hadoop - 随笔分类 - 山高似水深

Hadoop YARN: 1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers hdfs硬盘90% yarn unhealthy

摘要：1/1 local-dirs are bad: /var/lib/hadoop-yarn/cache/yarn/nm-local-dir; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers 1/1 local-dirs are bad: /v 阅读全文

posted @ 2016-09-28 18:03 山高似水深阅读(3277) 评论(0) 推荐(0)

HADOOP HDFS BALANCER介绍及经验总结（转）

摘要：1.集群执行balancer命令，依旧不平衡的原因是什么？该如何解决？2.尽量不在NameNode上执行start-balancer.sh的原因是什么？集群平衡介绍 Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时阅读全文

posted @ 2016-09-18 10:01 山高似水深阅读(2509) 评论(0) 推荐(0)

hadoop2.x常用端口及定义方法

摘要：Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK 阅读全文

posted @ 2016-08-09 16:50 山高似水深阅读(6207) 评论(0) 推荐(1)

基于:Hadoop 2.6.0-cdh5.4.0 hive1.1.0 HBase 1.0.0-cdh5.4.0 关键配置文件

摘要：core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh hive-env.sh hive-site.xml hbase-site.xml zoo.cfg 阅读全文

posted @ 2016-08-09 16:39 山高似水深阅读(1331) 评论(0) 推荐(0)

Hadoop集群能打开50070端口不能打开8088端口 web浏览器界面

摘要：两天时间，知道现在才把这个东西解决解决的灵感来源于百度知道一句话谢谢这个哥们谢谢这个哥们！谢谢这个哥们！我的目录是在/home/hadoop/tmp 大家如果遇到这个问题，希望能按照我的办法去试一下 2016年1月18日04:00:49 阅读全文

posted @ 2016-08-09 16:06 山高似水深阅读(2730) 评论(0) 推荐(0)

eclipse配置hadoop location的端口号

摘要：在eclipse下配置hadoop location的时候 hadoop端口号应该与conf文件夹下的core-site.xml以及mapred-site.xml保持一致前者对应dfs master，后者对应map-red master //这是mapred-site.xml mapred.job.tracker http://master.hadoop:90... 阅读全文

posted @ 2016-08-09 16:02 山高似水深阅读(1768) 评论(0) 推荐(0)

Hadoop运行程序不报错只有warn也没反应也不输出结果的解决办法

摘要：log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apach... 阅读全文

posted @ 2016-08-09 16:00 山高似水深阅读(1188) 评论(0) 推荐(0)

一文看懂大数据的技术生态圈，Hadoop，hive，spark都有了

摘要：转载：大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合阅读全文

posted @ 2016-08-09 15:59 山高似水深阅读(7772) 评论(0) 推荐(2)

数据从HDFS-->HIVE-->HBASE 执行过程

摘要：1、数据已经load进去hdfs 2、hive、hbase已经安装成功（我用的是hadoop 2.4 hbase 0.98.12 hive 1.2.1） 3、开始！ 4、在hive建立表同时生成对应的一张Hbase表，分别在hive和hbase用show tables;和list查看是否生成对应的表 create table hive3 (key string,phone string... 阅读全文

posted @ 2016-08-09 15:58 山高似水深阅读(792) 评论(0) 推荐(0)

Linux服务器在外地，如何用eclipse连接hdfs

摘要：配置外网和内网的映射，内部所有配置全部用内网的IP 本地所有配置皆为外网地址本地给服务器发指令全部由映射转换为内网指定IP，即可阅读全文

posted @ 2016-08-09 14:16 山高似水深阅读(26033) 评论(0) 推荐(0)

FAILED: Execution Error, return code 2 from org.apache.hadoop

摘要：错误遇到的情形： hive整合hbase，hive的数据表 load，select，insert一切正常通过hive往hbase关联表插入数据的时候报错，错误内容如下： 2016-04-18 14:00:34,721 Stage-0 map = 0%, reduce = 0% 2016-04-18 14:00:56,491 Stage-0 map = 100%, reduce = 0% ... 阅读全文

posted @ 2016-08-09 12:09 山高似水深阅读(6108) 评论(0) 推荐(0)

hadoop-eclipse-plugin-2.6.0-cdh5.4.0 插件编译

摘要：1.JDK配置 1) 安装jdk 2) 配置环境变量 JAVA_HOME、CLASSPATH、PATH等设置 2.Eclipse 1).下载eclipse-jee-juno-SR2.rar 2).解压到本地磁盘 3.Ant 1）下载 http://ant.apache.org/bindownload 阅读全文

posted @ 2016-08-09 11:59 山高似水深阅读(27633) 评论(0) 推荐(0)

随笔分类 - Hadoop