Loading

摘要: 本文主要记录Maven学习和使用中的知识点 1.MAVEN 概念 1.1 简介 Maven本质上是项目管理工具,将项目开发和管理过程抽象成一个项目对象模型(POM)。主要服务于基于java平台的项目构建、依赖管理和项目信息管理。核心功能是合理的叙述项目间的依赖关系,通过pom.xml来自动获取jar 阅读全文
posted @ 2022-01-23 22:07 偏执的感叹号 阅读(86) 评论(0) 推荐(0)
摘要: yarn是一个资源管理、任务调度的框架。主要包含三个模块:resourceManger、nodeManger、ApplicationMater。 resourceManger:负责所有资源的监控、分配和管理; ApplicationMater: 负责每一个具体应用程序的调度和协调; nodeMang 阅读全文
posted @ 2022-01-10 21:43 偏执的感叹号 阅读(140) 评论(0) 推荐(0)
摘要: 是什么? hdfs是hadoop生态的分布式文件系统,遵循主/从体系结构,由多台服务器联合起来实现文件存储功能 # NameNode:负责管理元数据(文件名称,副本数量,文件位置,块大小); # HDFS 存储是以块存储 默认块大小128MB(取决与磁盘的传输速率,目前约为100M/s),hadoo 阅读全文
posted @ 2022-01-10 21:42 偏执的感叹号 阅读(175) 评论(0) 推荐(0)
摘要: 1 介绍 ​ MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。 思想:分而治之 Mapper负责“分”: 即把复杂的任务分解为若干个“简单的任务”来处理 一是 阅读全文
posted @ 2022-01-10 21:39 偏执的感叹号 阅读(229) 评论(0) 推荐(0)
摘要: docker安装介绍 阅读全文
posted @ 2020-09-13 17:22 偏执的感叹号 阅读(184) 评论(0) 推荐(0)