随笔分类 -  hadoop

摘要:docker的基本概念: 镜像(image): 容器(container): 仓库: 问题点: 0、C#码农的大数据之路 - 使用Ambari自动化安装HDP2.6(基于Ubuntu16.04)并运行.NET Core编写的MR作业 https://www.cnblogs.com/lsxqw2004 阅读全文
posted @ 2018-06-07 23:30 suinlove 阅读(681) 评论(0) 推荐(0)
摘要:Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 Hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据 阅读全文
posted @ 2016-07-26 15:24 suinlove 阅读(1594) 评论(0) 推荐(0)
摘要:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 参考 ZooKeeper Getting Sta 阅读全文
posted @ 2016-07-26 15:18 suinlove 阅读(169) 评论(0) 推荐(0)