五三中 - 博客园

2016年1月9日

摘要：转自：http://www.csdn.net/article/2015-01-13/2823530摘要：Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针... 阅读全文

posted @ 2016-01-09 01:24 五三中阅读(2769) 评论(0) 推荐(0)

2016年1月8日

大数据时代的技术hive：hive介绍

摘要：转自：http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html我最近研究了hive的相关技术，有点心得，这里和大家分享下。首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是... 阅读全文

posted @ 2016-01-08 01:45 五三中阅读(1257) 评论(0) 推荐(0)

hive优化之------控制hive任务中的map数和reduce数

摘要：转自http://superlxw1234.iteye.com/blog/1582880一、控制hive任务中的map数:1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,... 阅读全文

posted @ 2016-01-08 01:43 五三中阅读(344) 评论(0) 推荐(0)

hive组件和执行过程

摘要：转自http://blog.csdn.net/lifuxiangcaohui/article/details/40262021对Hive的基本组成进行了总结：1、组件：元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动（Driver ）－控制 HiveQL ... 阅读全文

posted @ 2016-01-08 01:39 五三中阅读(671) 评论(0) 推荐(0)

Hbase rowkey设计一

摘要：转自http://blog.csdn.net/lifuxiangcaohui/article/details/40621067hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的... 阅读全文

posted @ 2016-01-08 01:32 五三中阅读(657) 评论(0) 推荐(0)

Hive学习

摘要：转自：http://blog.csdn.net/lifuxiangcaohui/article/details/40615843 阅读全文

posted @ 2016-01-08 01:31 五三中阅读(184) 评论(0) 推荐(0)

机器学习与数据挖掘网上资源搜罗——良心推荐

摘要：转自：http://blog.csdn.net/baimafujinji/article/details/50467970前面我曾经发帖推荐过网上的一些做“图像处理和计算机视觉的”有料博客资源，原帖地址图像处理与机器视觉网络资源收罗——倾心大放送http://blog.csdn.net/baimaf... 阅读全文

posted @ 2016-01-08 00:42 五三中阅读(357) 评论(0) 推荐(0)

Hadoop源码解析之: TextInputFormat如何处理跨split的行

摘要：转自：http://blog.csdn.net/bluishglc/article/details/9380087我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理：对输入数据进行切分，生成一组split，一个split会分发给一个mapper进行处理... 阅读全文

posted @ 2016-01-08 00:27 五三中阅读(753) 评论(0) 推荐(0)

2016年1月7日

zookeeper技术浅析

摘要：转自：http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3113923.htmlZookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈z... 阅读全文

posted @ 2016-01-07 23:15 五三中阅读(671) 评论(0) 推荐(0)

HDFS Federation客户端(viewfs)配置攻略

摘要：转自：http://dongxicheng.org/hadoop-hdfs/hdfs-federation-viewfs/1.HDFS Federation产生背景在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用... 阅读全文

posted @ 2016-01-07 15:25 五三中阅读(2599) 评论(1) 推荐(0)

cxzdy

公告