10.17

接下来是架构的治理,其核心是让架构更敏捷。

首先,基于逻辑虚拟表进行维度建模能力升级,相对物理宽表,逻辑宽表从语义上定义了数据模式,并将数据模型抽象为维度和指标,更加敏捷,大大减少后续的改动工作量。

逻辑宽表虽然方便定义,但面对大量数据,通常难以达到和物理宽表相当的查询性能和访问体验,这就需要智能物化的能力;因此系统需要基于 HBO、CBO 以及 RBO 等优化模型对分析路径进行自动决策和优化,如哪些需要提前物化,哪些无需物化;相比传统研发人员手动建表建任务,这种系统自动物化的方案节省了大量人力成本和 IT 成本。

另外,京东零售作为电商企业,用户行为大多在线上发生,有大量的数据需要处理、分析;近期在探索湖仓一体架构,利用增量状态更新和流批一体能力,提升数据处理效率,降低数据成本。

posted @ 2024-11-25 08:26  SDGVSBGDRH  阅读(15)  评论(0)    收藏  举报