2021年10月30日

HDP、CDH、CDP升级

摘要： 前言 Cloudera 在跟HortonWorks 合并后，便推出了新一代大数据平台 CDP，并正在逐步停止原有的大数据平台 CDH 和 HDP。 但具体到何时会彻底停止对 CDH 和 HDP 的维护，CDH/HDP 停止维护后现有用户该如何应对，以及 CDP 跟 CDH/HDP 的异同，或多或少都 阅读全文

posted @ 2021-10-30 12:49 李雷 阅读(1951) 评论(0) 推荐(0)

CDH和HDP对比

摘要： 主要的不同点apache AmbariClouderaManager Express(免费版) 配置版本控制和历史记录 支持 不支持 二次开发 支持 不支持 集成 支持 no (不支持redis、kylin、es) 维护 依靠社区力量 cloudera做了一些定制开发，自行维护或打patch会离社区 阅读全文

posted @ 2021-10-30 12:34 李雷 阅读(1625) 评论(0) 推荐(1)

mapreduce、spark、tez区别

摘要： MapReduceMapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 TezTez是Apache开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、M 阅读全文

posted @ 2021-10-30 12:22 李雷 阅读(641) 评论(0) 推荐(0)

常用的分布式文件系统

摘要： 1 分布式文件系统 1.1 什么是分布式文件系统？ 分布式文件系统（Distributed File System，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层 阅读全文

posted @ 2021-10-30 11:43 李雷 阅读(2971) 评论(0) 推荐(0)

minio原理和使用

摘要： 简介 Minio 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 Minio是一个非常轻量的服务 阅读全文

posted @ 2021-10-30 11:35 李雷 阅读(1249) 评论(0) 推荐(0)

导航