让世界没有难用的数据

摘要： 以下是本人第一份工作所在的一个外企(M公司)的问卷调查，用于搜集员工对领导在日常工作中的评价。该问卷调查的标题是“360 Survey - Management Training Program”，是在2014年发布，至今已经有12年，回顾这份问卷调查，还是能清晰的感受到其鲜明的风格。以下是问卷调查 阅读全文

摘要： If you are looking for how to be exceptional, here are some tips to help you achieve that. Desiring to be exceptional is a noble act that shows your d 阅读全文

摘要： 企业网络环境全景解析——面向AI智能数据分析场景的数据工程师指南 一、为什么数据工程师需要理解企业网络环境 对于数据工程师和数据分析师而言，日常工作的核心是数据的采集、处理、存储与服务。然而，数据永远流动在“网络”这个基础设施之上。不理解企业网络环境的分类逻辑、地域分布和访问控制策略，就如同修路而不 阅读全文

摘要： 数据虚拟化技术解析：从概念到实践 一、概念篇：什么是数据虚拟化？ 1.1 定义与本质 数据虚拟化（Data Virtualization）是一种数据集成与管理技术。它在底层数据源（如关系型数据库、NoSQL、大数据平台、文件系统）与上层业务应用之间，构建一个统一的逻辑访问层。 通过这一中间层，数据虚 阅读全文

摘要： 数据虚拟化：从“搬运数据”到“连接数据”的范式革命 一、什么是数据虚拟化 数据虚拟化（Data Virtualization）是一种通过抽象层实现跨源数据访问的技术，它允许应用程序在不涉及数据格式、物理位置等技术细节的情况下检索和管理数据。简而言之，数据虚拟化让用户能像操作一个统一数据平台一样，访问 阅读全文

摘要： 一、背景： 每日早晨6点，数据运维团队要检核各类数据系统及夜间跑批任务是否正常运行。若一切正常，则需要在团队微信群中发一条消息，告知正常。若异常，需要当日值班人员进行排查处理，并在业务上班9点之间将问题解决，保证各类报表或数据服务中的数据准确及时。由于系统及任务众多且复杂，值班人员要人工从大量的系统 阅读全文

摘要： 作为数据工程师（搬运工），日常工作中经常需要把各类数据进行跨系统间的移动传输。一般而言，常规思路会选择一款数据传输工具来进行数据处理。在某些场景中，也会利用现有数据平台的虚拟化技术进行快速的数据传输。各类工具和技术层出不穷，方案也千变万化，没有最好的，只有最适合的。以下是根据自身实际使用过的工具积累 阅读全文

摘要： 星环产品最早是做大数据产品出发的，后面也出了一系列的数据相关的产品，如ArgoDB, KunDB, StellarDB。 基于星环的介绍材料和宣传资料，结合公司已经搭建的demo测试环境。以下是测试的体验。 公司目前只部署了ArgoDB，这款产品标签为湖仓一体，定位为分布式分析数据库，目标是替代Ha 阅读全文

摘要： 众所周知，vibe coding（氛围编程）是这两年流行的编程方式，指的是利用大模型工具，处理用户的自然语言指令，自动生成代码。 今年开始，公司重点发力AI建设，由于大模型生成代码能力突飞猛进，日异月新，于是领导启动了各类基于大模型的智能编程项目。作为数据工程师，虽然也早就听说了国外流行的氛围编程， 阅读全文

摘要： 作为数据工程师，对数据进行处理分析时，时常遇到基于SQL实现分组内的文字列的排序聚合是非常常见的场景，比如按照价格高低进行各类别下商品的汇总、按照成绩进行各班的学生的排名等。当下，支持SQL的数据库生态百花齐放，SQL方言也是多种多样，为了方便记忆，以下总结了常见的几类数据产品或者平台的支持情况（代 阅读全文