SDGVSBGDRH - 博客园

2024年12月31日

摘要：借用检查器无法结合 match 和返回值进行判断这个问题非常常见，我甚至先是帮别人解决了类似的问题，后来自己也在工作中也遇到了。这说明这种问题尤其普遍。这种问题通常出现的场景是——你想要在 HashMap 中查找一个值，并在找不到时执行其他操作的场景中。为了举例说明，假设你需要先查找一个键，如果阅读全文

posted @ 2024-12-31 20:06 SDGVSBGDRH 阅读(36) 评论(0) 推荐(0)

11.4

摘要：需要说明的是，当我说“某事无法实现”时，我指的是无法通过 Rust 的类型系统来实现，也就是无法通过静态类型检查实现。或许你可以使用不安全代码（unsafe）或者运行时检查（比如“直接给所有东西加上 Arc<Mutex<_>>”）来绕过这些问题。然而，如果不得不采用这些方法，依然反映出类型系统的局限阅读全文

posted @ 2024-12-31 20:06 SDGVSBGDRH 阅读(27) 评论(0) 推荐(0)

11.1

摘要： Rust 以其严格的类型系统和内存安全著称，为开发者提供了强大的工具来避免运行时错误。然而，即便是经验丰富的 Rust 开发者，也难免在面对复杂场景时遇到一些棘手的类型系统限制。本文作者结合多年的实际开发经验，深入探讨 Rust 安全性保证的核心工具 Rust 借用检查器的局限性，并结合实例，分析这阅读全文

posted @ 2024-12-31 20:06 SDGVSBGDRH 阅读(11) 评论(0) 推荐(0)

2024年11月25日

10.31

摘要：对未来的展望。当前对基于主动元数据的探索和实践尚处于起步阶段，未来将持续进行探索。首先是更自动、更智能。当前的数据任务优化仍然由人工来逐一优化治理，不仅耗时，也依赖人工经验；所以需要基于主动元数据来构建任务的智能诊断与智能调优能力，提升任务的优化效率。此外，对于前文提到的数据模型认证。当前的认证阅读全文

posted @ 2024-11-25 08:31 SDGVSBGDRH 阅读(19) 评论(0) 推荐(0)

10.30

摘要：对于 data fabric 架构，最先由 Gartner 提出，主要是为了解决复杂数据的管理和使用问题，并且连续几年被评为十大 IT 技术发展趋势。Data fabric 架构主要包括在互联的知识图谱上访问和表示所有类型元数据，应用知识图谱技术激活元数据，将机器学习技术运用到元数据上，去简化数据集阅读全文

posted @ 2024-11-25 08:31 SDGVSBGDRH 阅读(26) 评论(0) 推荐(0)

10.29

摘要：数据回填，主要基于数据的生产血缘，包括表依赖血缘、任务依赖血缘等。该方案主要包括以下几个功能模块：回填感知：通过查询、订阅信息、新版本发布触发自动感知分区缺失、版本变更消息，通过分区检查器、版本变更感知器确定回填日期范围；回填编排：构建数据生产血缘，逐层解析表分区回填依赖，编排回填拓扑；优化阅读全文

posted @ 2024-11-25 08:30 SDGVSBGDRH 阅读(29) 评论(0) 推荐(0)

10.28

摘要：分享另外一个基于主动元数据的治理实践——数据回填。在离线数据开发运营中，不管是新需求迭代，还是岗位变更，都会有数据重算的需求。目前的数据补录功能尚不完善，需要手工确认等大量系统外协调工作。例如，用户需要回溯 2023 年前的数据，研发人员就需要手动检查所依赖的上游甚至更上游的数据；确认完上游数据，阅读全文

posted @ 2024-11-25 08:29 SDGVSBGDRH 阅读(18) 评论(0) 推荐(0)

10.25

摘要：智能推荐：几十万张模型自动推荐生命周期，自动识别数百 PB 治理空间效果显著：推荐值接受度大于 70%，试点模型完成 100+PB 治理开放赋能：集成大数据平台、赋能集团存储治理该方案将分散在各处的主动元数据进行收集，对元数据进行挖掘识别，实现生命周期的智能推荐。由于使用主动元数据，采用同一套阅读全文

posted @ 2024-11-25 08:29 SDGVSBGDRH 阅读(30) 评论(0) 推荐(0)

10.24

摘要：目前大数据平台已经构建了完善的治理功能体系，包括治理分析能力和治理实施能力。治理实施包括治理行动、通知催办、一键回滚等功能，这些功能可以大幅提升操作的效率及治理安全。将业务治理策略通过平台化工具进行整合共建，将治理经验推广到整个京东集团，赋能整个集团的存储治理。数据驱动、智能推荐，从分散到集约、从阅读全文

posted @ 2024-11-25 08:28 SDGVSBGDRH 阅读(9) 评论(0) 推荐(0)

10.23

摘要：假如直接统计一张表在一段时间分区访问的范围，则统计结果会严重受到考察周期的影响。举一个例子，假设一个表有 10 个访问，每天都是访问昨天分区；当选择 15 天作为考察周期时，得到的结果是用户需要访问近 15 天的数据；而当选择 31 天作为考察周期时，则会得到用户需要访问近 31 天数据这一结果。为阅读全文

posted @ 2024-11-25 08:28 SDGVSBGDRH 阅读(10) 评论(0) 推荐(0)

liyize

公告