摘要: Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运行于操作系统之上的应用程序Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而mapreduce等运算程序则相当于运行于操 阅读全文
posted @ 2021-10-20 20:14 cos晓风残月 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 分布式文件系统: 统一管理分布在集群上的文件系统 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 重点概念:文件切块, 阅读全文
posted @ 2021-10-20 20:01 cos晓风残月 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 前几天生产的Redis突然挂掉了,之前都没有太注意过Redis那边的使用情况,这次Redis挂掉重启后,发现在那台服务器上,Redis占用了足足30G的运行内存,这才意识到Redis可能出现了一点问题,然后开始了错误排查过程。 错误排查 由于Redis是基于内存的数据库,所以当出现运行内存过大的情况 阅读全文
posted @ 2021-10-13 21:20 cos晓风残月 阅读(3) 评论(0) 推荐(0) 编辑
摘要: Flume最早是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume特性 1.提供上下文路由特征 2.Flume的管道是基于事务,保证了数据在传送和接收时的一致性 3.Flume是可靠的,容错性高的,可升级的,易管理的,并且可定制的 4.Flume可用将 阅读全文
posted @ 2021-10-13 20:25 cos晓风残月 阅读(3) 评论(0) 推荐(0) 编辑
摘要: Spark基础 Spark优势 优秀的数据模型与丰富计算抽象 Spark 借鉴了 MapReduce 思想发展而来,保留了其分布式并行计算的优点并改进了其明显的缺陷。 让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的 API 提高了开发速度。 完善的生态圈-fullstack Spark 阅读全文
posted @ 2021-10-13 20:01 cos晓风残月 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 数据库事务的四大特性 原子性A 事务是最小的执行单位,不允许分割。事务的原子性确保动作要么全部完成,要么完全不起作用 一致性C 执行事务前后,数据保持一致,多个事务对同一个数据读取的结果是相同的 隔离性I 并发访问数据库时,一个用户的事务不被其他事务所干扰,各并发事务之间数据库是独立的 持久性D一个 阅读全文
posted @ 2021-10-02 12:49 cos晓风残月 阅读(6) 评论(0) 推荐(0) 编辑
摘要: MySQL基本架构 Server层包括连接器、查询缓存、分析器、优化器、执行器等,所有跨存储引擎的功能都在这一层实现。 存储引擎层负责数据的存储和提取。其架构模式是插件式的,支持InnoDB(5.5后成为默认存储引擎)、MyISAM、Memory等多个存储引擎。 Server层 连接器 负责用户登录 阅读全文
posted @ 2021-10-02 12:49 cos晓风残月 阅读(4) 评论(0) 推荐(0) 编辑
摘要: MySQL优化 MySQL优化分为以下几个大类: SQL调优 事务优化 表结构优化 使用缓存和NoSQL数据库方式存储,如MongoDB/Memcached/Redis来缓解高并发下的数据库查询的压力 减少数据库操作次数,尽量使用数据库访问驱动的批处理方法 不常使用的数据迁移备份,避免每次都在海量数 阅读全文
posted @ 2021-10-02 12:49 cos晓风残月 阅读(4) 评论(0) 推荐(0) 编辑
摘要: Redis与NoSQL概述 Nosql的优势 使用nosql解决cpu与内存压力 使用nosql解决I/O压力 Nosql数据库的概述 NoSql= Not Only SQL 采用key-value模式存储 不遵循SQL标准 性能远超过SQL 使用场景 数据的高并发读写 海量数据读写 数据可扩展性 阅读全文
posted @ 2021-09-25 16:46 cos晓风残月 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 本章节配合博文Java内存模型(JMM)&volatile一起食用最佳。 为什么需要多线程?什么是并发三要素? 见博文:Java内存模型(JMM)&volatile Java如何解决并发问题(JMM)? 见博文:Java内存模型(JMM)&volatile 并发关键字: volatile、synch 阅读全文
posted @ 2021-09-22 11:32 cos晓风残月 阅读(3) 评论(0) 推荐(0) 编辑
*