让世界没有难用的数据

摘要： 数据虚拟化技术解析：从概念到实践 一、概念篇：什么是数据虚拟化？ 1.1 定义与本质 数据虚拟化（Data Virtualization）是一种数据集成与管理技术。它在底层数据源（如关系型数据库、NoSQL、大数据平台、文件系统）与上层业务应用之间，构建一个统一的逻辑访问层。 通过这一中间层，数据虚 阅读全文

摘要： 数据虚拟化：从“搬运数据”到“连接数据”的范式革命 一、什么是数据虚拟化 数据虚拟化（Data Virtualization）是一种通过抽象层实现跨源数据访问的技术，它允许应用程序在不涉及数据格式、物理位置等技术细节的情况下检索和管理数据。简而言之，数据虚拟化让用户能像操作一个统一数据平台一样，访问 阅读全文

摘要： 一、背景： 每日早晨6点，数据运维团队要检核各类数据系统及夜间跑批任务是否正常运行。若一切正常，则需要在团队微信群中发一条消息，告知正常。若异常，需要当日值班人员进行排查处理，并在业务上班9点之间将问题解决，保证各类报表或数据服务中的数据准确及时。由于系统及任务众多且复杂，值班人员要人工从大量的系统 阅读全文

摘要： 作为数据工程师（搬运工），日常工作中经常需要把各类数据进行跨系统间的移动传输。一般而言，常规思路会选择一款数据传输工具来进行数据处理。在某些场景中，也会利用现有数据平台的虚拟化技术进行快速的数据传输。各类工具和技术层出不穷，方案也千变万化，没有最好的，只有最适合的。以下是根据自身实际使用过的工具积累 阅读全文

摘要： 星环产品最早是做大数据产品出发的，后面也出了一系列的数据相关的产品，如ArgoDB, KunDB, StellarDB。 基于星环的介绍材料和宣传资料，结合公司已经搭建的demo测试环境。以下是测试的体验。 公司目前只部署了ArgoDB，这款产品标签为湖仓一体，定位为分布式分析数据库，目标是替代Ha 阅读全文

摘要： 众所周知，vibe coding（氛围编程）是这两年流行的编程方式，指的是利用大模型工具，处理用户的自然语言指令，自动生成代码。 今年开始，公司重点发力AI建设，由于大模型生成代码能力突飞猛进，日异月新，于是领导启动了各类基于大模型的智能编程项目。作为数据工程师，虽然也早就听说了国外流行的氛围编程， 阅读全文

摘要： 作为数据工程师，对数据进行处理分析时，时常遇到基于SQL实现分组内的文字列的排序聚合是非常常见的场景，比如按照价格高低进行各类别下商品的汇总、按照成绩进行各班的学生的排名等。当下，支持SQL的数据库生态百花齐放，SQL方言也是多种多样，为了方便记忆，以下总结了常见的几类数据产品或者平台的支持情况（代 阅读全文

摘要： 代码无bug，SQL跑的快！ 阅读全文

摘要： 一、场景案例 在数据开发类项目中，常常会遇到需要将字符串进行切割并展开成表格的场景，如以下两种常见的案例： 标签类型数据：如将员工标签类型的数据 - 技能：Java、Spring、微服务、项目管理 - 项目经验：电商、金融、教育- 工作风格：#执行力强 #跨部门协作 #数据驱动 分类层级数据：如将组 阅读全文

摘要： 上一篇介绍了项目中使用到的各类BI报表及可视化分析类工具，并分析了这些工具的部署架构。接下来分析这些工具的一些功能特性及调优相关的特点，最后列举几个实际中的使用场景。 一、功能特性 1、跨数据源关联支持：一般来说，企业中的各类系统的数据会存放在各类不同的数据库中，在没有数据仓库等集中存储的系统时，B 阅读全文