zourui4271

数果实时数仓探索

摘要： Vol.1 实时数仓的发展在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面无法形成完整的体系，实时数仓更多是以实时计算的形式存在，作为离线数仓的辅助，主要使用的技术也是Storm或Spark Streaming。基本所有的实时任务都是具体问题具体分析，来一个需求做一个，基本不考阅读全文

posted @ 2021-11-26 10:59 zourui4271 阅读(185) 评论(0) 推荐(0)

基于 Flink CDC + Hudi 湖仓一体方案实践

摘要：一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器，目前 2.0 版本支持从 MySQL 以及 Postgres 两种数据源中获取数据，2.1 版本社区确定会支持 Oracle，MongoDB 数据源。 Fink 阅读全文

posted @ 2021-11-16 15:43 zourui4271 阅读(1160) 评论(0) 推荐(0)

集群和分布式的区别

摘要：简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。例如：如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依阅读全文

posted @ 2021-11-15 17:44 zourui4271 阅读(228) 评论(0) 推荐(0)

数据平台上云

摘要： “戒备”与“偏见” 几年前，我所在的一家传统行业的头部企业启动了一系列数字化转型项目，在配套的 IT 基础设施建设上，“上云”已是大势所趋。在此前数年的工作中，我断断续续地使用着公有云产品，大多数情况下，我们只选择 IaaS 层级的服务，也就是只使用虚拟实例，对 PaaS 和云平台特定的 Serv 阅读全文

posted @ 2021-11-15 16:20 zourui4271 阅读(81) 评论(0) 推荐(0)

Hudi在医疗大数据的应用

摘要： https://blog.csdn.net/h335146502/article/details/106434544/?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~defaul 阅读全文

posted @ 2021-11-12 16:36 zourui4271 阅读(42) 评论(0) 推荐(0)

Hudi on Flink上手使用总结

摘要： https://blog.csdn.net/penriver/article/details/120563186?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRL 阅读全文

posted @ 2021-11-12 15:21 zourui4271 阅读(113) 评论(0) 推荐(0)

五个维度打造研发管理体系

摘要：背景技术管理者(技术总监/经理/CTO)期望通过体系化的管理方式建设，能够在百人，千人以上的团队中有效的构建聚焦目标，自我成长，高效能的研发作战团队，快速拿出成果，支撑业务的快速发展。痛点从小团队人员快速扩张，团队文化稀释，人员效能下降，目标逐渐弱化。各自团队管理方式及标准不统一，人员管理及阅读全文

posted @ 2021-10-30 11:24 zourui4271 阅读(234) 评论(0) 推荐(0)

研发流程职责要求

摘要：产品产品内部需要先进行需求评审，确定需求后，才能跟技术进行需求宣讲；需求宣讲前，至少提前1天把需要宣讲的需求发出来，通知测试和开发宣讲时间和地点；需求宣讲后，测试和开发有疑问，产品需进行Q&A，维护到对应需求文档上，并及时更新需求；需求宣讲完成，原则上不允许进行需求变动；如果进行需求变动，需阅读全文

posted @ 2021-10-29 16:53 zourui4271 阅读(81) 评论(0) 推荐(0)

周期性快照事实表的特性

摘要： 1.1用快照采样状态理解状态，状态可以指一段时间内某个事实的汇总，比如说近一个月用户下单汇总金额，这就是一个状态值，当天计算的近一个月的下单汇总金额状态，一旦插入不可改变，也可以指某个事实的最终状态值，这里的最终一般是指当天最晚的时间点，比如日期末库存，就是一个按天为周期，库存值就是当天最后的一个阅读全文

posted @ 2021-10-28 09:40 zourui4271 阅读(299) 评论(0) 推荐(0)

事实表的设计

摘要：一：事实表的特性粒度：事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述：一种是维度属性组合所表示的细节程度：一种是所表示的具体业务含义。事实：事实表当中最为重要的特性就是事实了，即在特定环境下的度量值，一般分为这几类：可加性：可加性事实是指可以按照与事实表关联的阅读全文

posted @ 2021-10-28 09:34 zourui4271 阅读(286) 评论(0) 推荐(0)

公告