zourui4271

宽表的设计

摘要：宽表的设计为什么要建设宽表宽表的好处和不足如何设计宽表总结宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发。宽表主要出阅读全文

posted @ 2021-12-25 11:17 zourui4271 阅读(744) 评论(0) 推荐(0)

数仓指标体系

摘要：目录指标体系指标建设过程中遇到的问题指标建设方法论北极星指标人货场指标体系 OSM+UJM 模型 OSM+ AARRR海盗模型指标分级方法指标的构成指标分类简单计数型指标复合型指标基础指标衍生指标指标分级公司战略层面指标业务策略层面指标业务执行层面指标如何设立指标体阅读全文

posted @ 2021-12-25 11:16 zourui4271 阅读(758) 评论(0) 推荐(0)

数果实时数仓探索

摘要： Vol.1 实时数仓的发展在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面无法形成完整的体系，实时数仓更多是以实时计算的形式存在，作为离线数仓的辅助，主要使用的技术也是Storm或Spark Streaming。基本所有的实时任务都是具体问题具体分析，来一个需求做一个，基本不考阅读全文

posted @ 2021-11-26 10:59 zourui4271 阅读(219) 评论(0) 推荐(0)

基于 Flink CDC + Hudi 湖仓一体方案实践

摘要：一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器，目前 2.0 版本支持从 MySQL 以及 Postgres 两种数据源中获取数据，2.1 版本社区确定会支持 Oracle，MongoDB 数据源。 Fink 阅读全文

posted @ 2021-11-16 15:43 zourui4271 阅读(1250) 评论(0) 推荐(0)

集群和分布式的区别

摘要：简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。例如：如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依阅读全文

posted @ 2021-11-15 17:44 zourui4271 阅读(253) 评论(0) 推荐(0)

数据平台上云

摘要： “戒备”与“偏见” 几年前，我所在的一家传统行业的头部企业启动了一系列数字化转型项目，在配套的 IT 基础设施建设上，“上云”已是大势所趋。在此前数年的工作中，我断断续续地使用着公有云产品，大多数情况下，我们只选择 IaaS 层级的服务，也就是只使用虚拟实例，对 PaaS 和云平台特定的 Serv 阅读全文

posted @ 2021-11-15 16:20 zourui4271 阅读(102) 评论(0) 推荐(0)

Hudi在医疗大数据的应用

摘要： https://blog.csdn.net/h335146502/article/details/106434544/?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~defaul 阅读全文

posted @ 2021-11-12 16:36 zourui4271 阅读(71) 评论(0) 推荐(0)

Hudi on Flink上手使用总结

摘要： https://blog.csdn.net/penriver/article/details/120563186?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRL 阅读全文

posted @ 2021-11-12 15:21 zourui4271 阅读(133) 评论(0) 推荐(0)

五个维度打造研发管理体系

摘要：背景技术管理者(技术总监/经理/CTO)期望通过体系化的管理方式建设，能够在百人，千人以上的团队中有效的构建聚焦目标，自我成长，高效能的研发作战团队，快速拿出成果，支撑业务的快速发展。痛点从小团队人员快速扩张，团队文化稀释，人员效能下降，目标逐渐弱化。各自团队管理方式及标准不统一，人员管理及阅读全文

posted @ 2021-10-30 11:24 zourui4271 阅读(267) 评论(0) 推荐(0)

研发流程职责要求

摘要：产品产品内部需要先进行需求评审，确定需求后，才能跟技术进行需求宣讲；需求宣讲前，至少提前1天把需要宣讲的需求发出来，通知测试和开发宣讲时间和地点；需求宣讲后，测试和开发有疑问，产品需进行Q&A，维护到对应需求文档上，并及时更新需求；需求宣讲完成，原则上不允许进行需求变动；如果进行需求变动，需阅读全文

posted @ 2021-10-29 16:53 zourui4271 阅读(111) 评论(0) 推荐(0)

公告