摘要:1、Kafka消息持久性概述 Kakfa依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢,基于文件系统的架构能否提供优异的性能?实际上硬盘的快慢完全取决于使用方式。同时 Kafka 基于 JVM 内存有以下缺点: 对象的内存开销非常高,通常是要存储的数据的两倍甚至更高 随着堆内数据的增 阅读全文
posted @ 2021-04-30 09:08 赵强老师 阅读(54) 评论(0) 推荐(0) 编辑
摘要:Kubernetes提供了探针(Probe)对容器的健康性进行检测。实际上我们不仅仅要对容器进行健康检测,还要对容器内布置的应用进行健康性检测。 Probe有以下两种类型: livenessProbe:存活探针,如果检查失败,将杀死容器,根据Pod的restartPolicy重启策略操作。 read 阅读全文
posted @ 2021-04-18 16:18 赵强老师 阅读(14) 评论(0) 推荐(0) 编辑
摘要:阿里大数据产品体系是基于阿里云飞天平台上的数据处理服务。主要分为阿里云大数据基础产品和阿里云数加平台,其产品架构图如下所示: 一、阿里云大数据基础产品 1、云数据库——RDS(ApsaraDB for RDS的简称) 稳定可靠、可弹性伸缩的在线数据库服务 即开即用,DMS可视化界面 兼容MySQL, 阅读全文
posted @ 2021-02-23 09:29 赵强老师 阅读(67) 评论(0) 推荐(0) 编辑
摘要:一、Cassandra简介 Cassandra是一个混合型的非关系的数据库,类似于Google的BigTable。其主要功能比Dynamo (分布式的Key-Value存储系统)更丰富,但支持度却不如文档存储MongoDB(介于关系数据库和非关系数据库之间的开源产品,是非关系数据库当中功能最丰富,最 阅读全文
posted @ 2021-02-05 10:56 赵强老师 阅读(66) 评论(0) 推荐(0) 编辑
摘要:一、什么是Weblogic WLST? WebLogic 脚本工具 (WebLogic Scripting Tool , WLST) 是一种命令行脚本界面,系统管理员和操作员用它来监视和管理 WebLogic Server 实例以及域。WLST提供以下功能: 新建WLS域 检查和更新WLS域 配置部 阅读全文
posted @ 2021-01-22 11:31 赵强老师 阅读(148) 评论(0) 推荐(0) 编辑
摘要:(四)索引的类型三:复合索引(Compound Index) MongoDB支持复合索引,即将多个键组合到一起创建索引。该方式称为复合索引,或者也叫组合索引,该方式能够满足多键值匹配查询使用索引的情形。其次复合索引在使用的时候,也可以通过前缀法来使用索引。MongoDB中的复合索引与关系型数据库基本 阅读全文
posted @ 2020-12-19 11:44 赵强老师 阅读(59) 评论(0) 推荐(0) 编辑
摘要:索引是提高查询查询效率最有效的手段。索引是一种特殊的数据结构,索引以易于遍历的形式存储了数据的部分内容(如:一个特定的字段或一组字段值),索引会按一定规则对存储值进行排序,而且索引的存储位置在内存中,所在从索引中检索数据会非常快。如果没有索引,MongoDB必须扫描集合中的每一个文档,这种扫描的效率 阅读全文
posted @ 2020-11-29 19:11 赵强老师 阅读(58) 评论(0) 推荐(0) 编辑
摘要:Flink为了能够处理有边界的数据集和无边界的数据集,提供了对应的DataSet API和DataStream API。我们可以开发对应的Java程序或者Scala程序来完成相应的功能。下面举例了一些DataSet API中的基本的算子。 下面我们通过具体的代码来为大家演示每个算子的作用。 1、Ma 阅读全文
posted @ 2020-10-09 11:18 赵强老师 阅读(164) 评论(0) 推荐(0) 编辑
摘要:MySQL DBA或开发人员,有时会误删或者误更新数据,如果是线上环境并且影响较大,就需要能快速回滚。传统恢复方法是利用备份重搭实例,再应用去除错误sql后的binlog来恢复数据。此法费时费力,甚至需要停机维护,并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间,但快照的缺点是会影响mysql 阅读全文
posted @ 2020-09-27 16:48 赵强老师 阅读(108) 评论(0) 推荐(0) 编辑
摘要:MapReduce 能够计算非常复杂的聚合逻辑,非常灵活,但是,MapReduce非常慢,不应该用于实时的数据分析中。MapReduce能够在多台Server上并行执行,每台Server只负责完成一部分wordload,最后将wordload发送到Master Server上合并,计算出最终的结果集 阅读全文
posted @ 2020-09-13 19:12 赵强老师 阅读(221) 评论(0) 推荐(0) 编辑