摘要: 下载地址: http://archive.cloudera.com/cdh5/cdh/5/hive-0.12.0-cdh5.1.5.tar.gz 用远程mysql作为元数据存储 创建数据库,设置字符集为latin1 配置hive-site.xml hive.metastore.schema.veri 阅读全文
posted @ 2016-03-23 09:53 小N~ 阅读(252) 评论(0) 推荐(0) 编辑
摘要: 运行mr,出现如下异常 需要配置yarn-site.xml中配置如下信息 参考地址: https://issues.apache.org/jira/browse/MAPREDUCE-2983 https://issues.apache.org/jira/browse/BIGTOP-764 阅读全文
posted @ 2016-03-22 09:36 小N~ 阅读(120) 评论(0) 推荐(0) 编辑
摘要: hadoop2.x在系统架构上与hadoop1.x有很大的变化 原文地址: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 基本安装请参考: http://www.cnblogs.com/liuxinan/p/52 阅读全文
posted @ 2016-03-21 17:18 小N~ 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 场景: 一个大小为100T的文件,统计单词"ERROR"和"INFO"的个数 普通做法 是不是效率太低了? 换个方式 说明: 把100T文件分成100份,一台机器保存1T文件。 把程序代码复制100份,在100台机器上运行。 Combiner:对中间结果的合并,减少对带宽的占用,可以不使用,在red 阅读全文
posted @ 2016-03-09 14:52 小N~ 阅读(291) 评论(0) 推荐(0) 编辑
摘要: 可能是存在class冲突 http://stackoverflow.com/questions/25130799/hadoop-java-io-ioexception-call-to-localhost-127-0-0-154310-failed-on-local 解决方法: 直接换了hadoop 阅读全文
posted @ 2016-03-07 20:33 小N~ 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 一、hadoop版本介绍 不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称 CDH)、Hortonwo 阅读全文
posted @ 2016-03-06 17:36 小N~ 阅读(447) 评论(0) 推荐(0) 编辑
摘要: 一、Centos版本: cat /etc/centos-release CentOS Linux release 7.1.1503 (Core) 二、nginx下载 官网:http://nginx.org/ 版本:nginx-1.8.1.tar.gz 三、安装 解压:tar -xvf nginx-1 阅读全文
posted @ 2016-02-26 22:56 小N~ 阅读(263) 评论(0) 推荐(0) 编辑
摘要: 本文是针对java8做的入门摘要笔录,详细分析可参见如下原文。 原文地址 http://www.javacodegeeks.com/2013/02/java-8-from-permgen-to-metaspace.html http://ifeve.com/java-8-features-tutor 阅读全文
posted @ 2016-02-25 21:35 小N~ 阅读(283) 评论(0) 推荐(0) 编辑
摘要: 准确的说应该是java8以前的内存管理方式 区别在永久代(方法区)上 public class RamManager { //1.a存储于永久代 public static int a =1; private String str; private int x; private AA aaa; // 阅读全文
posted @ 2016-02-24 16:21 小N~ 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 安装目录下 设置浏览器代理127.0.0.1 8080,以chrome为例 开始录制脚本,进入应用点击相应的功能,可以捕获到如下地址 去除无用地址,保留需要测试的地址 注:上图编号列表中11为获取cookie请求,不能删除,否则下边的要测试的queryVoteLog请求会因为没有cookie而无法执 阅读全文
posted @ 2016-02-23 17:28 小N~ 阅读(624) 评论(0) 推荐(0) 编辑