导航

随笔分类 -  Hadoop

不同hadoop集群之间迁移hive数据

摘要：#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $re... 阅读全文

posted @ 2016-02-27 10:03 ggzone 阅读(188) 评论(0) 推荐(0)

根据硬件配置后mapred-site.xml和yarn-site.xml

摘要：机器总共16G内存，sqoop导入数据时大约需要2G左右mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.a... 阅读全文

posted @ 2016-01-30 13:45 ggzone 阅读(147) 评论(0) 推荐(0)

合并 hdfs 文件

摘要：待研究，只做保存将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中，示例如：sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(138) 评论(0) 推荐(0)

Hadoop有关的网站

摘要：软件下载： http://archive.apache.org hbase对Hadoop的支持矩阵： https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2016-01-16 13:31 ggzone 阅读(153) 评论(0) 推荐(0)

hadoop配置优化

摘要：yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认8182MB yarn.scheduler.minimum-allocatio... 阅读全文

posted @ 2016-01-01 20:43 ggzone 阅读(197) 评论(0) 推荐(0)

eclipse打jar包步骤

摘要：eclipse->文件->export->java->JAR file选择项目，Options增加Add directory entriesfinishhadoop jar /tmp/hive-merge.jar merge.merge /user/hive... 阅读全文

posted @ 2015-12-19 18:05 ggzone 阅读(105) 评论(0) 推荐(0)

Hdfs增量导入小文件合并的思路

摘要：1.使用mr进行合并 2.使用getmerge 将文件拉取到本地，再上传到hdfs，注意nl参数 3.使用appendToFile 4.使用hadoop提供的打包压缩技术 Usage: hadoop fs [generic options][-append... 阅读全文

posted @ 2015-12-19 18:02 ggzone 阅读(157) 评论(0) 推荐(0)

Hadoop修改SSH端口号

摘要：hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文

posted @ 2015-12-05 13:16 ggzone 阅读(280) 评论(0) 推荐(0)

Hadoop 2.6.0动态添加节点

摘要：文章出自：http://my.oschina.net/leoleong/blog/477508 本文主要从基础准备，添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下，如何动态新增节点到集群中。•基础准备在基础准备... 阅读全文

posted @ 2015-11-28 19:47 ggzone 阅读(116) 评论(0) 推荐(0)

Hadoop2.6.0错误

摘要：错误1：WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ha1/input/h... 阅读全文

posted @ 2015-11-22 18:04 ggzone 阅读(140) 评论(0) 推荐(0)

mac下配置eclipse的hadoop环境

摘要：下载eclipse-jee-mars-1-macosx-cocoa-x86_64.tar 右键显示包内容，将hadoop-eclipse-plugin-2.6.0.jar拷入到刚显示的包的plugin文件夹中打开eclipse，点击菜单Eclipse–偏好设... 阅读全文

posted @ 2015-11-22 17:07 ggzone 阅读(132) 评论(0) 推荐(0)

ubuntu搭建分布式hadoop-2.6.0概略和错误

摘要：详细配置：http://blog.csdn.net/ggz631047367/article/details/424263911.修改机器/etc/hostname分别为 master slave1 slave2 重启2.修改/etc/hosts，删除多余项... 阅读全文

posted @ 2015-11-13 20:53 ggzone 阅读(134) 评论(0) 推荐(0)