摘要:大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言。我们可以带着下面问题来阅读本文章:1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性3.Spark与hadoop的关联是什么?4.Storm与hadoop的关联是什么?hadoop家族创始人:Doug Cutting整个Hadoop家族由以下几个子项目组成:Hadoop Comm
阅读全文
摘要:云计算技术:这里只是列出我所知道的,希望大家对云计算技术有所了解:一首先让大家明白什么是云端,所谓云端需要两层理解(1)服务不在本地,这一层可以理解为服务器(2)它和普通的服务器是不一样的,这些云端的服务器的资源是共享的,一旦一个服务器不能承受,将会把任务分配给其他机器。二、云技术与其他技术的区别:云技术可以使用的语言有java,c++等。云技术的开发,并没有发展什么新语言,而是在其他语言的基础上。比如Java语言。与其他技术,最显著的区别,不是在开发上,而是在于架构上,最显著的特点是分布式。三、下面给大家讲一下较火云技术:1、Hadoop Hadoop是一个框架,它是由Java语言来实现的。
阅读全文
摘要:Hadoop 面试题,看看书找答案,看看你能答对多少(2)1. 下面哪个程序负责 HDFS 数据存储。a)NameNodeb)Jobtrackerc)Datanode d)secondaryNameNode e)tasktracker答案C datanode2. HDfS 中的 block 默认保存几份?a)3 份 b)2 份c)1 份d)不确定答案A默认3分3. 下列哪个程序通常与 NameNode 在一个节点启动?a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker答案D分析:hadoop的集群是基于master/slave模式
阅读全文
摘要:零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop,没有太大的困难。首先整体说一下学习过程给大家借鉴:首先查阅了资料,什么hadoop,至于这方面,你可以参考这个帖子hadoop新手学习指导,这个可以让你明白什么hadoop。对这个有了整体的认识之后开始下面内容。我们知道hadoop,有单机安装,伪分布安装和分布安装。同时hadoop
阅读全文