随笔分类 -  基础组件

摘要:要求 软件要求 JAVA_HOME 配置 Flink设置 配置Flink 启动Flink 将JobManager / TaskManager实例添加到群集 要求 软件要求 Flink可在所有类UNIX环境中运行,例如Linux,Mac OS X和Cygwin(适用于Windows),并期望集群由一个 阅读全文
posted @ 2019-04-16 20:40 走过冬季 阅读(387) 评论(0) 推荐(0)
摘要:YARN的基本思想是将资源管理和作业调度/监控的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager(RM)和每个应用程序ApplicationMaster(AM)。应用程序可以是单个作业,也可以是作业的DAG。 ResourceManager和NodeManager构成 阅读全文
posted @ 2018-11-05 20:45 走过冬季 阅读(161) 评论(0) 推荐(0)
摘要:介绍 Hadoop分布式文件系统(HDFS)是一种分布式文件系统,设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的差异很大。HDFS具有高度容错能力,旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问,适用于具有大型数据集的应用程序。HDF 阅读全文
posted @ 2018-10-26 13:25 走过冬季 阅读(257) 评论(0) 推荐(0)