随笔分类 -  大数据

ZooKeeper学习第一期---Zookeeper简单介绍
摘要：zookeeper简单介绍 阅读全文
posted @ 2019-02-19 16:03 华格瑞沙 阅读(169) 评论(0) 推荐(0)
看看spark的源码
摘要：就想看看spark源码 阅读全文
posted @ 2018-10-10 16:03 华格瑞沙 阅读(1443) 评论(0) 推荐(0)
MapReduceの运行3种方式
摘要：本地方式运行，集群2种方式运行 阅读全文
posted @ 2018-08-15 09:55 华格瑞沙 阅读(384) 评论(0) 推荐(0)
hbase存储结构介绍及hbase各种概念
摘要：hbase存储结构 阅读全文
posted @ 2018-08-06 11:05 华格瑞沙 阅读(7335) 评论(1) 推荐(0)
Hive中的数据库（Database）和表（Table）
摘要：hive表和库 阅读全文
posted @ 2018-07-30 15:23 华格瑞沙 阅读(1905) 评论(0) 推荐(0)
zookeeper在Dubbo中扮演了一个什么角色
摘要：zookeeper是dubbo推荐的注册中心。 流程 阅读全文
posted @ 2018-07-19 12:24 华格瑞沙 阅读(361) 评论(0) 推荐(0)
实例了解明白mapreduce
摘要：问题导读：1.如何在讲mapreduce函数中的字符串等信息，输出到eclipse控制台？2.除了使用下文方法，还有其它方法输出到控制台？3.map中，系统默认接受的value值是什么？4.reduce输出不是自己想要的结果，可能的原因是什么？mapreduce不是很好理解，为什么？因为我们传统编程 阅读全文
posted @ 2018-07-12 14:19 华格瑞沙 阅读(308) 评论(0) 推荐(0)
MapReduceのShuffle
摘要：Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么，那么请看这张图： 这张是官方对Shuffle过程的描述。但我可以肯定的是， 阅读全文
posted @ 2018-07-12 13:35 华格瑞沙 阅读(150) 评论(0) 推荐(0)
Hadoop读写过程
摘要：HDFS读写过程 阅读全文
posted @ 2018-07-04 17:29 华格瑞沙 阅读(2340) 评论(0) 推荐(0)