2021年10月13日
记一次生产事故,Redis内存问题排查与解决
摘要： 前几天生产的Redis突然挂掉了,之前都没有太注意过Redis那边的使用情况,这次Redis挂掉重启后，发现在那台服务器上，Redis占用了足足30G的运行内存,这才意识到Redis可能出现了一点问题，然后开始了错误排查过程。 错误排查 由于Redis是基于内存的数据库,所以当出现运行内存过大的情况 阅读全文
posted @ 2021-10-13 21:20 cos晓风残月 阅读(301) 评论(0) 推荐(0)
实时流计算---数据采集工具Flume
摘要： Flume最早是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume特性 1.提供上下文路由特征 2.Flume的管道是基于事务，保证了数据在传送和接收时的一致性 3.Flume是可靠的，容错性高的，可升级的，易管理的，并且可定制的 4.Flume可用将 阅读全文
posted @ 2021-10-13 20:25 cos晓风残月 阅读(720) 评论(0) 推荐(0)
Spark知识点总结
摘要： Spark基础 Spark VS Hadoop Hadoop Spark 类型 分布式基础平台,包含计算,存储,调度 分布式计算工具 场景 大规模数据集上的批处理 迭代计算,交互式计算,流计算 价格 对机器要求低,便宜 对内存有要求,相对较贵 编程范式 Map+Reduce,API较为底层,算法适应 阅读全文
posted @ 2021-10-13 20:01 cos晓风残月 阅读(537) 评论(0) 推荐(0)