导航

随笔分类 -  Hadoop

不同hadoop集群之间迁移hive数据

摘要：#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do hive... 阅读全文

posted @ 2016-02-27 10:03 ggzone 阅读(840) 评论(0) 推荐(0)

根据硬件配置后mapred-site.xml和yarn-site.xml

摘要：机器总共16G内存，sqoop导入数据时大约需要2G左右mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address ... 阅读全文

posted @ 2016-01-30 13:45 ggzone 阅读(4756) 评论(0) 推荐(0)

合并 hdfs 文件

摘要：待研究，只做保存将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中，示例如：sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/... 阅读全文

posted @ 2016-01-24 12:42 ggzone 阅读(559) 评论(0) 推荐(0)

Hadoop有关的网站

摘要：软件下载： http://archive.apache.org hbase对Hadoop的支持矩阵： https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2016-01-16 13:30 ggzone 阅读(162) 评论(0) 推荐(0)

hadoop配置优化

摘要：yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认9182MB yarn.scheduler.minimum-allocation-mb 1500 ... 阅读全文

posted @ 2016-01-01 20:42 ggzone 阅读(302) 评论(0) 推荐(0)

eclipse打jar包步骤

摘要：eclipse->文件->export->java->JAR file选择项目，Options增加Add directory entriesfinishhadoop jar /tmp/hive-merge.jar merge.merge /user/hive/warehouse/ac... 阅读全文

posted @ 2015-12-19 18:04 ggzone 阅读(129) 评论(0) 推荐(0)

Hdfs增量导入小文件合并的思路

摘要：1.使用mr进行合并 2.使用getmerge 将文件拉取到本地，再上传到hdfs，注意nl参数 3.使用appendToFile 4.使用hadoop提供的打包压缩技术 Usage: hadoop fs [generic options][-appendToFile … ][-... 阅读全文

posted @ 2015-12-19 18:01 ggzone 阅读(362) 评论(0) 推荐(0)

Hadoop修改SSH端口号

摘要：hadoop-env.shexport HADOOP_SSH_OPTS="-p 16022" 阅读全文

posted @ 2015-12-05 13:15 ggzone 阅读(1697) 评论(0) 推荐(0)

Hadoop 2.6.0动态添加节点

摘要：文章出自：http://my.oschina.net/leoleong/blog/477508 本文主要从基础准备，添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下，如何动态新增节点到集群中。•基础准备在基础准备部分，主要是设置hadoo... 阅读全文

posted @ 2015-11-28 19:46 ggzone 阅读(896) 评论(0) 推荐(0)

Hadoop2.6.0错误

摘要：错误1：WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ha1/input/hadoop/yarn-en... 阅读全文

posted @ 2015-11-22 18:03 ggzone 阅读(727) 评论(0) 推荐(0)

mac下配置eclipse的hadoop环境

摘要：下载eclipse-jee-mars-1-macosx-cocoa-x86_64.tar 右键显示包内容，将hadoop-eclipse-plugin-2.6.0.jar拷入到刚显示的包的plugin文件夹中打开eclipse，点击菜单Eclipse–偏好设置–Hadoop Map ... 阅读全文

posted @ 2015-11-22 17:07 ggzone 阅读(383) 评论(0) 推荐(0)

ubuntu搭建分布式hadoop-2.6.0概略和错误

摘要：详细配置：http://blog.csdn.net/ggz631047367/article/details/424263911.修改机器/etc/hostname分别为 master slave1 slave2 重启2.修改/etc/hosts，删除多余项 192.168.2.223 master... 阅读全文

posted @ 2015-11-13 20:53 ggzone 阅读(489) 评论(0) 推荐(0)

hadoop2.6.0的eclipse插件编译和设置

摘要：编译hadoop2.6.0的eclipse插件下载源码：git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git编译源码：cd src/contrib/eclipse-pluginant jar -Dversion=2.6.0 -... 阅读全文

posted @ 2015-01-07 18:24 ggzone 阅读(253) 评论(0) 推荐(0)

32位ubuntu14.04手动编译hadoop2.6.0

摘要：下载官方编译好的包安装老是报错：Unable to load native-hadoop library for your platform用file命令查看发现官方包里的libhadoop.so.1.0.0文件竟然是64位的。假设应该安装了jdk，教程：http://blog.csdn.net/g... 阅读全文

posted @ 2015-01-06 16:08 ggzone 阅读(169) 评论(0) 推荐(0)

Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置

摘要：需要重新编译的教程：http://blog.csdn.net/ggz631047367/article/details/42460589在Ubuntu下创建hadoop用户组和用户hadoop的管理员最好就是以后要登录桌面环境运行eclipse的用户，否则后面会有拒绝读写的问题出现。当然不是也有办法... 阅读全文

posted @ 2015-01-05 18:44 ggzone 阅读(175) 评论(0) 推荐(0)