导航

随笔分类 -  Hadoop

摘要:#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $re... 阅读全文

posted @ 2016-02-27 10:03 ggzone 阅读(185) 评论(0) 推荐(0)

摘要:机器总共16G内存,sqoop导入数据时大约需要2G左右mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.a... 阅读全文

posted @ 2016-01-30 13:45 ggzone 阅读(144) 评论(0) 推荐(0)

摘要:待研究,只做保存将HDFS中不同目录下面的数据合在一起,并存放在指定的目录中,示例如:sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(136) 评论(0) 推荐(0)

摘要:软件下载: http://archive.apache.org hbase对Hadoop的支持矩阵: https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2016-01-16 13:31 ggzone 阅读(150) 评论(0) 推荐(0)

摘要:yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认8182MB yarn.scheduler.minimum-allocatio... 阅读全文

posted @ 2016-01-01 20:43 ggzone 阅读(195) 评论(0) 推荐(0)

摘要:eclipse->文件->export->java->JAR file选择项目,Options增加Add directory entriesfinishhadoop jar /tmp/hive-merge.jar merge.merge /user/hive... 阅读全文

posted @ 2015-12-19 18:05 ggzone 阅读(103) 评论(0) 推荐(0)

摘要:1.使用mr进行合并 2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数 3.使用appendToFile 4.使用hadoop提供的打包压缩技术 Usage: hadoop fs [generic options][-append... 阅读全文

posted @ 2015-12-19 18:02 ggzone 阅读(152) 评论(0) 推荐(0)

摘要:hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文

posted @ 2015-12-05 13:16 ggzone 阅读(277) 评论(0) 推荐(0)

摘要:文章出自:http://my.oschina.net/leoleong/blog/477508 本文主要从基础准备,添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下,如何动态新增节点到集群中。•基础准备在基础准备... 阅读全文

posted @ 2015-11-28 19:47 ggzone 阅读(113) 评论(0) 推荐(0)

摘要:错误1:WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ha1/input/h... 阅读全文

posted @ 2015-11-22 18:04 ggzone 阅读(136) 评论(0) 推荐(0)

摘要:下载eclipse-jee-mars-1-macosx-cocoa-x86_64.tar 右键显示包内容,将hadoop-eclipse-plugin-2.6.0.jar拷入到刚显示的包的plugin文件夹中打开eclipse,点击菜单Eclipse–偏好设... 阅读全文

posted @ 2015-11-22 17:07 ggzone 阅读(131) 评论(0) 推荐(0)

摘要:详细配置:http://blog.csdn.net/ggz631047367/article/details/424263911.修改机器/etc/hostname分别为 master slave1 slave2 重启2.修改/etc/hosts,删除多余项... 阅读全文

posted @ 2015-11-13 20:53 ggzone 阅读(133) 评论(0) 推荐(0)