摘要： 【今日主题】：Log Compaction 与磁盘 IO 极致优化 【业务场景痛点】 场景：大型社交平台的用户画像系统。 数据特征：Topic 中存储着数亿用户的属性变更记录（例如：User:1001 -> {"city": "Beijing"}，User:1001 -> {"city": "Sha 阅读全文

摘要： 【今日主题】：Consumer Rebalance (重平衡) 风暴与优化 【业务场景痛点】 场景：大型内容平台的实时推荐流消费系统。 架构：100+ 个 Consumer 实例组成一个 Consumer Group，订阅一个 500+ 分区的 Topic。 QPS：平均消费速率稳定在 50万 QP 阅读全文

摘要： 【今日主题】：ACK 应答策略与数据丢失/重复的权衡 (ACKs & Data Durability) 【业务场景痛点】 场景：大型电商的秒杀系统。 QPS：瞬时峰值 50万+ QPS 写入 Kafka。 需求：用户的下单消息必须不丢失（否则用户付了钱，订单没生成，客服会被打爆），同时可以容忍少量重 阅读全文

摘要： 在Python 3中创建虚拟环境，你可以使用venv模块。venv模块是Python 3.3及更高版本中自带的，用于创建独立的Python环境。 以下是创建虚拟环境的步骤： 打开终端或命令提示符。 导航到你想要创建虚拟环境的目录。 运行以下命令创建虚拟环境： python3 -m venv myen 阅读全文

摘要： 在 Vue 3 中，this 的使用受到了限制，主要是因为在 Vue 3 中引入了 Composition API，它提供了一种更灵活、更可组合的方式来组织和管理组件的逻辑。在 Composition API 中，不再使用传统的选项（如 data、methods、computed 等）来定义组件的逻 阅读全文

摘要： Vue 3 是一个流行的前端框架，而 ECharts 是一个功能强大的图表库。将 ECharts 整合到 Vue 3 项目中可以方便地展示各种图表。 以下是将 ECharts 整合到 Vue 3 项目中的基本步骤： 安装 ECharts： 使用 npm 或 yarn 安装 ECharts： bash 阅读全文

摘要： xrandr --fb 1280x800xrandr -s 1280x800 阅读全文

摘要： 增加 val broadcase = sc.broadcast(stu_info_list) package com.matthew.bigdata.spark.core import org.apache.spark.sql.SparkSession object Demo15 { def mai 阅读全文

摘要： 分布式rdd跟本地driver关联代码 煎熬的是python采用的是list,scala tuple3,真的痛苦（加油，五年后写scala) 这种方法是每个本地list对象都会被分配到每个分区上使用，也就是一个executor package com.matthew.bigdata.spark.co 阅读全文

摘要： 什么是短连接？ 短连接是当服务端与客户端连接成功后开始传输数据，数据传输完毕后则连接立即关闭，如果还想再次传输数据，则需要再创建新的连接进行数据传输。 1）优点：在服务端不需要保存多个Socket对象，降低内存占用率。 2）缺点：每次传输数据前都要重新创建连接，也就是每次都要进行3次握手，增加处理的 阅读全文