随笔分类 -  hadoop

hive 0.12.0版本 问题及注意事项
摘要：下载地址： http://archive.cloudera.com/cdh5/cdh/5/hive-0.12.0-cdh5.1.5.tar.gz 用远程mysql作为元数据存储 创建数据库，设置字符集为latin1 配置hive-site.xml hive.metastore.schema.veri 阅读全文
posted @ 2016-03-23 09:53 小N~ 阅读(274) 评论(0) 推荐(0)
hadoop2.x 异常
摘要：运行mr，出现如下异常 需要配置yarn-site.xml中配置如下信息 参考地址： https://issues.apache.org/jira/browse/MAPREDUCE-2983 https://issues.apache.org/jira/browse/BIGTOP-764 阅读全文
posted @ 2016-03-22 09:36 小N~ 阅读(137) 评论(0) 推荐(0)
hadoop2.x 安装配置
摘要：hadoop2.x在系统架构上与hadoop1.x有很大的变化 原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 基本安装请参考： http://www.cnblogs.com/liuxinan/p/52 阅读全文
posted @ 2016-03-21 17:18 小N~ 阅读(171) 评论(0) 推荐(0)
mapreduce基本原理
摘要：场景： 一个大小为100T的文件，统计单词"ERROR"和"INFO"的个数 普通做法 是不是效率太低了？ 换个方式 说明： 把100T文件分成100份，一台机器保存1T文件。 把程序代码复制100份，在100台机器上运行。 Combiner：对中间结果的合并，减少对带宽的占用，可以不使用，在red 阅读全文
posted @ 2016-03-09 14:52 小N~ 阅读(325) 评论(0) 推荐(0)
hadoop1.x异常
摘要：可能是存在class冲突 http://stackoverflow.com/questions/25130799/hadoop-java-io-ioexception-call-to-localhost-127-0-0-154310-failed-on-local 解决方法： 直接换了hadoop 阅读全文
posted @ 2016-03-07 20:33 小N~ 阅读(132) 评论(0) 推荐(0)
Hadoop1.x集群安装部署(VMware)
摘要：一、hadoop版本介绍 不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称 CDH）、Hortonwo 阅读全文
posted @ 2016-03-06 17:36 小N~ 阅读(501) 评论(0) 推荐(0)