大数据(五)— 【数据采集——数据整理——数据计算分析——数据业务呈现】常用组件

1.Ambari是hadoop分布式集群配置管理工具 可以管理大数据相关的组件,工具,服务。 参考链接:https://blog.csdn.net/weixin_42073629/article/details/111089278

2.Hadoop是一个由Apache基金会所开发的分布式系统基础架构,一个能够对大量数据进行分布式处理的软件框架; Hadoop以一种可靠、高效、可伸缩的方式进行数据处理;用户可以在不了解分布式底层细节的情况下,开发分布式程序。

 参考链接:https://www.php.cn/faq/417853.html

3.HDFS是Hadoop应用用到的一个最主要的分布式存储系统。 参考链接:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_user_guide.html

4.HBase 、Hive、资源管理调度Yarn、zookeeper、Flume 、elasticSearch、Flink 、kfka、mapReduce、pig、spack等等

5.整体应用理解: 数据采集——数据整理——数据计算分析——数据业务呈现

posted @ 2021-04-17 11:11  对月当歌  阅读(291)  评论(0)    收藏  举报