随笔分类 -  大数据面试准备

上一页 1 2 3 4
hive组件和执行过程
摘要：转自http://blog.csdn.net/lifuxiangcaohui/article/details/40262021对Hive的基本组成进行了总结：1、组件：元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动（Driver ）－ 控制 HiveQL ... 阅读全文
posted @ 2016-01-08 01:39 五三中 阅读(671) 评论(0) 推荐(0)
Hbase rowkey设计一
摘要：转自http://blog.csdn.net/lifuxiangcaohui/article/details/40621067hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的... 阅读全文
posted @ 2016-01-08 01:32 五三中 阅读(657) 评论(0) 推荐(0)
Hive学习
摘要：转自：http://blog.csdn.net/lifuxiangcaohui/article/details/40615843 阅读全文
posted @ 2016-01-08 01:31 五三中 阅读(184) 评论(0) 推荐(0)
Hadoop源码解析之: TextInputFormat如何处理跨split的行
摘要：转自：http://blog.csdn.net/bluishglc/article/details/9380087我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理：对输入数据进行切分，生成一组split，一个split会分发给一个mapper进行处理... 阅读全文
posted @ 2016-01-08 00:27 五三中 阅读(753) 评论(0) 推荐(0)
zookeeper技术浅析
摘要：转自：http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3113923.htmlZookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈z... 阅读全文
posted @ 2016-01-07 23:15 五三中 阅读(671) 评论(0) 推荐(0)
SpringMVC介绍之约定优于配置
摘要：转自：http://haohaoxuexi.iteye.com/blog/1774603所谓的约定优于配置就是指在程序开发过程中我们约定好一些规则可以使我们更少的进行配置和代码编写。就这么简单的一句话可能你还不是很懂什么是约定优于配置，没关系，看完后面对SpringMVC的约定优于配置的介绍之后你就... 阅读全文
posted @ 2016-01-06 00:27 五三中 阅读(565) 评论(0) 推荐(0)
MapReduce程序的工作过程
摘要：转自：http://www.aboutyun.com/thread-15494-1-2.html问题导读1、HDFS框架组成是什么？2、HDFS文件的读写过程是什么？3、MapReduce框架组成是什么？4、MapReduce工作原理是什么？5、什么是Shuffle阶段和Sort阶段？还记得2.5年... 阅读全文
posted @ 2016-01-05 22:39 五三中 阅读(5340) 评论(0) 推荐(0)
hadoop杂记-为什么会有Map-reduce v2 (Yarn)
摘要：转自：http://www.cnblogs.com/LeftNotEasy/archive/2012/02/18/why-yarn.html前言：有一段时间没有写博客了(发现这是我博客最常见的开头，不过这次间隔真的好长），前段时间事情比较多，所以耽搁得也很多。现在准备计划写一个新的专题，叫做《had... 阅读全文
posted @ 2016-01-05 11:17 五三中 阅读(403) 评论(0) 推荐(0)
Hadoop中HDFS工作原理
摘要：转自：http://blog.csdn.net/sdlyjzh/article/details/28876385Hadoop其实并不是一个产品，而是一些独立模块的组合。主要有分布式文件系统HDFS和大型分布式数据处理库MapReduce。由于目前主要用到HDFS，所以这里看一下它的工作原理，以及相应... 阅读全文
posted @ 2016-01-04 17:55 五三中 阅读(665) 评论(0) 推荐(0)
使用Storm实现实时大数据分析
摘要：转自：http://qq85609655.iteye.com/blog/2035717摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大... 阅读全文
posted @ 2016-01-01 23:25 五三中 阅读(295) 评论(0) 推荐(0)
mongodb和redis设计原理简析
摘要：转自：http://blog.csdn.net/yangbutao/article/details/8309539redis:1、NIO通信 因都在内存操作，所以逻辑的操作非常快，减少了CPU的切换开销，所以为单线程的模式（逻辑处理线程和主线程是一个）。 reactor模式，实现自己的多路复用N... 阅读全文
posted @ 2015-12-08 21:41 五三中 阅读(448) 评论(0) 推荐(0)
hive架构原理简析-mapreduce部分
摘要：转自：http://blog.csdn.net/yangbutao/article/details/8331937整个处理流程包括主要包括，语法解析（抽象语法树，AST,采用antlr），语义分析(sematic Analyzer生成查询块)，逻辑计划生成（OP tree），逻辑计划优化,物理计划生... 阅读全文
posted @ 2015-12-08 21:35 五三中 阅读(1524) 评论(0) 推荐(0)
Hadoop2.x Yarn作业提交（客户端）
摘要：转自：http://blog.csdn.net/lihm0_1/article/details/22186833YARN作业提交的客户端仍然使用RunJar类，和MR1一样，可参考http://blog.csdn.net/lihm0_1/article/details/13629375在1.x中是向... 阅读全文
posted @ 2015-12-08 20:44 五三中 阅读(950) 评论(0) 推荐(0)
Solr学习和总结（线下1）
摘要：2015-09-08 上午~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~1：solr简介 solr是一个开源的搜索引擎，是对lucene做了封装，对外提供类似于web... 阅读全文
posted @ 2015-11-30 10:30 五三中 阅读(883) 评论(0) 推荐(0)
hive入门学习线路指导
摘要：转自：http://www.aboutyun.com/thread-7598-1-1.htmlhive被大多数企业使用，学习它，利于自己掌握企业所使用的技术，这里从安装使用到概念、原理及如何使用遇到的问题，来讲解hive，希望对大家有所帮助。此篇内容较多：看完之后需要达到的目标1.hive是什么2.... 阅读全文
posted @ 2015-11-19 01:18 五三中 阅读(506) 评论(0) 推荐(0)
HBase基本概念
摘要：转自：http://www.bcmeng.com/hbase-basic/HBase是什么HBase构建在 HDFS 之上的分布式列式键值存储系统。HBase内部管理的文件全部存储在HDFS中。HBase VS HDFSHDFS适合批处理场景不支持数据随机查找不适合增量数据处理不支持数据更新HBas... 阅读全文
posted @ 2015-11-06 23:41 五三中 阅读(642) 评论(0) 推荐(0)
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
摘要：转自：http://blog.csdn.net/yczws1/article/details/19178265。纯干货：Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。 通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、H... 阅读全文
posted @ 2015-10-29 01:17 五三中 阅读(5735) 评论(0) 推荐(1)

上一页 1 2 3 4