数据库 大数据
刷新
搞懂“元数据”：给数据办一张“身份证”

博主头像 你是否经历过这样的场景： 同事发给你一个 Excel 表格，文件名叫 data_final_v2.xlsx。 你满怀期待地打开，结果发现： 表头是 cryptic 的英文缩写（如 c_amt, usr_stat）； 有一列全是数字 1, 0, 1, 0，你猜不出这代表“男女”还是“是否活跃”； 你根 ...

vivo Celeborn PB级Shuffle优化处理实践

博主头像 vivo大数据平台通过引入RSS服务来满足混部集群中间结果（shuffle 数据）临时落盘需求,在综合对比后选择了Celeborn组件，并在后续的应用实践过程中不断优化完善，本文将分享vivo在Celeborn实际应用过程中对遇到问题的分析和解决方案，用于帮助读者对相似问题进行参考。 ...

K12教育数字化市场洞察与产品竞争策略

博主头像 K12教育数字化市场洞察与产品竞争策略1. 宏观市场环境与核心驱动力分析本章节旨在为产品战略的制定提供宏观视角。在当前K12教育科技市场，任何有效的产品战略都必须建立在对两大核心驱动力的深刻理解之上：一是国家顶层设计所带来的政策东风，二是后疫情时代用户行为的深刻变迁。这两股力量共同塑造了市场的基本盘 ...

spark的共享变量之广播变量和累加器

博主头像 1 核心概念：为什么需要它们？ 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量 ...

时序数据库 IoTDB 集成 SpringBoot Starter，实现时序数据库“零配置”接入

博主头像 面对工业物联网场景中高频产生的设备状态、环境指标等海量时序数据，如何在其产生后迅速完成采集、存储并服务于上层应用，是构建实时数据驱动型业务的核心挑战。 国产时序数据库 IoTDB 与快速开发框架 SpringBoot Starter 的深度集成，正是为了应对这一挑战，通过标准化的自动配置模式，将时序 ...

深入浅出理解你的“数据”

博主头像 对于想要学习数据分析的同学，如果你问我："数据分析的第一步是什么？" 我的回答是："理解数据本身。" 数据是我们所有分析工作的起点，本文主要探讨如何辨别我们面对的是什么样的数据，包括它的分类方法和描述维度。 1. 数据分类 数据并非千篇一律，它们有着不同的特征和属性。 正确理解数据的分类，是选择适当 ...

Flink 的 RocksDB 状态后端在 vivo 的实践

博主头像 本文简要介绍了特征拼接在实时推荐中的重要作用，并讲述了vivo实时推荐系统中特征拼接模块的架构演进过程以及采用现有的“基于RocksDB的大状态解决方案”的原因，重点叙述了该方案所遇到的一系列问题，并给出了这些问题的现象以及解决方案。 ...

时序数据库 IoTDB 集成 MyBatisPlus，告别复杂编码，简化时序数据 ORM 开发

博主头像 在物联网后台与服务模块的开发过程中，复杂编码与重复操作始终是开发团队难以绕开的挑战，不仅增加额外工作量，也抬高了系统的长期维护成本。 为有效缓解这一痛点，国产原生时序数据库 IoTDB 实现了与代码生成工具 MyBatisPlus 的深度集成，使开发者能够借助其强大的通用数据操作能力，以更简洁、更符 ...

时序数据库 Apache IoTDB 等你“打卡”！2025 OSCAR 开源产业大会完整版议程揭晓

博主头像 开源作为一种开放共享的新型生产模式，已成为数字经济创新、开放、共享和可持续发展的核心驱动力。由中国通信标准化协会牵头主办，中国信息通信研究院具体承办的 2025 OSCAR 开源产业大会将于 10 月 28 日在北京中关村国家自主创新示范区会议中心举行。 大会现场设置开源集市，以面向参会者系统展示优 ...

vivo HDFS EC大规模落地实践

博主头像 EC编码能够对部分缺失的数据进行数据恢复，广泛应用于存储与通信领域。vivo目前HDFS集群节点达万台级别，数据规模接近EB级别，并且业务数据规模还在以较高速度持续增长中。在推进压缩算法缓解存储压力的同时，EC编码的推进是存储降本的一大有力手段。 ...

从零开始学Flink：数据源

博主头像 在实时数据处理场景中，数据源（Source）是整个数据处理流程的起点。Flink作为流批一体的计算框架，提供了丰富的Source接口支持，其中通过Kafka获取实时数据是最常见的场景之一。本文将以Flink DataStream API为核心，带你从0到1实现“从Kafka消费数据并输出到日志”的完... ...

Ubuntu上进行Zookeeper集群部署

博主头像 目录1.zookeeper下载2.zookeeper安装与使用3.zookeeper启动4.zookeeper是什么？为什么要用它？为什么不用Hbase自带的？ 1.zookeeper下载 版本无特别要求，一般最新稳定版即可。 这里给出3.8.4的下载链接。（点击即可直接下载） zookeeper官 ...

flink on k8s的基本介绍

博主头像 本文分享自天翼云开发者社区《flink on k8s的基本介绍》，作者：l****n 一、背景介绍 Apache Flink 是一个流处理引擎，具有高效的流处理和批处理能力，以及良好的可伸缩性和容错性。Kubernetes（简称 K8s）是一种容器编排系统，用于自动化容器部署、扩展和管理。将 Fli ...