上一页 1 2 3 4 5 6 7 8 ··· 11 下一页

2021年10月30日

HDP、CDH、CDP升级

摘要: 前言 Cloudera 在跟HortonWorks 合并后,便推出了新一代大数据平台 CDP,并正在逐步停止原有的大数据平台 CDH 和 HDP。 但具体到何时会彻底停止对 CDH 和 HDP 的维护,CDH/HDP 停止维护后现有用户该如何应对,以及 CDP 跟 CDH/HDP 的异同,或多或少都 阅读全文

posted @ 2021-10-30 12:49 李雷 阅读(1951) 评论(0) 推荐(0)

CDH和HDP对比

摘要: 主要的不同点apache AmbariClouderaManager Express(免费版) 配置版本控制和历史记录 支持 不支持 二次开发 支持 不支持 集成 支持 no (不支持redis、kylin、es) 维护 依靠社区力量 cloudera做了一些定制开发,自行维护或打patch会离社区 阅读全文

posted @ 2021-10-30 12:34 李雷 阅读(1625) 评论(0) 推荐(1)

mapreduce、spark、tez区别

摘要: MapReduceMapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。 TezTez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、M 阅读全文

posted @ 2021-10-30 12:22 李雷 阅读(641) 评论(0) 推荐(0)

常用的分布式文件系统

摘要: 1 分布式文件系统 1.1 什么是分布式文件系统? 分布式文件系统(Distributed File System,DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点(可简单的理解为一台计算机)相连;或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层 阅读全文

posted @ 2021-10-30 11:43 李雷 阅读(2970) 评论(0) 推荐(0)

minio原理和使用

摘要: 简介 Minio 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。 Minio是一个非常轻量的服务 阅读全文

posted @ 2021-10-30 11:35 李雷 阅读(1249) 评论(0) 推荐(0)

2020年12月22日

RabbitMQ-消息队列

摘要: 概念解析 消息队列具有三个重要特点:解耦、销峰控流、广播,根据这三个特性,用现实生活例子,解释其作用 解耦:比方说我要租房,哪我就需要知道都有哪些房源,但房源分布在各个业主手里,常规情况下,我需要一个个去询问,这样就造成了我的工作量特别多,我只是想租个房子,但有许多额外的事要做,这就违背了功能单一的 阅读全文

posted @ 2020-12-22 16:40 李雷 阅读(117) 评论(0) 推荐(0)

2018年9月21日

3D模型api操作

摘要: 移动 threebox.moveToCoordinate(aircraft, planePosition, {'scaleToLatitude': true, 'preScale': 40}) 缩放 obj.scale.x = 2,obj.scale.y = 3,obj.scale.z = 4 旋转 阅读全文

posted @ 2018-09-21 14:46 李雷 阅读(559) 评论(0) 推荐(0)

2018年9月12日

JVM垃圾回收问答

摘要: 为什么要有垃圾回收 内存资源是有限的,当所需内存不能满足时,需要把不再使用的对象清除掉,否则JVM将无法运行下去 怎么判断对象是否是垃圾 判断对象是否是垃圾,有两种方式:1是标记引用计数,2是根部可达,第一种存在环形引用问题,第二种是JVM目前采用的方式 在根部可达中,哪些对象可以作为根 1栈中引用 阅读全文

posted @ 2018-09-12 15:21 李雷 阅读(136) 评论(0) 推荐(0)

2018年8月27日

postgresql not in性能问题

摘要: postgresql的not in的执行计划,执行时间超出预期: 替代方案 1、not exists 2、左联接 阅读全文

posted @ 2018-08-27 09:12 李雷 阅读(2014) 评论(0) 推荐(0)

2018年7月26日

serversocket和serversocketchannel实现http服务

摘要: ServerSocket: ServerSocketChannel: 阅读全文

posted @ 2018-07-26 14:11 李雷 阅读(2059) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 7 8 ··· 11 下一页

导航