随笔分类 -  Hadoop

摘要:Sqoop是一个用来将hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:mysql,oracle,等)中的数据导入到hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。1.简介首先切换到到hadoop用户:su - hadoop温馨提示... 阅读全文
posted @ 2017-11-17 22:26 wangyaning 阅读(1547) 评论(0) 推荐(0)
摘要:1.HiBench算法简介Hibench 包含9个典型的hadoop负载(micro benchmarks,hdfs benchmarks,web search bench marks,machine learning benchmarks和data analytics bench... 阅读全文
posted @ 2016-10-23 19:36 wangyaning 阅读(516) 评论(0) 推荐(0)
摘要:0.绪论之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的:当我搭建的过程中,发现这些东西是这样的:对于初学者来说,我认为缺点如下:1.需要控制,配置的东西太多,并且配置对应并不... 阅读全文
posted @ 2016-10-07 01:44 wangyaning 阅读(2876) 评论(0) 推荐(0)
摘要:handoop相关知识点1.Hadoop是什么?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop is a distributed computing pla... 阅读全文
posted @ 2016-08-11 00:04 wangyaning 阅读(1068) 评论(0) 推荐(0)