文章分类 - DB-大数据方法论
大数据方法论(三):解决周期 TOP10 数据差异
摘要:在从 “每日 TOP10” 推导 “每周 / 每月 TOP10” 的过程中,数据差异是大概率会出现的现象,但差异是否 “合理”,取决于你的「业务定义」和「计算逻辑」。下面将从 “差异产生的核心原因”“不同业务场景下的差异表现”“如何避免无效差异 / 验证合理差异” 三个维度,结合具体案例拆解分析,帮
阅读全文
大数据方法论(二):让大数据变得“轻快准”:商超行业的三大数据处理秘诀
摘要:对于商超行业的大数据业务处理,我总结了三点方法论: 1、大批次数据分批次处理(从大变小) 2、小批次数据汇合处理(从小变大) 3、预计算提前处理(以空间换时间) 1. 大批次数据分批次处理(从大变小) 核心思想:化整为零,分而治之。将单个巨大的、难以处理的任务拆分成多个小而可控的子任务。 为什么在商
阅读全文
大数据方法论(一):三大核心方法论(从大变小 / 从小变大 / 以空间换时间)
摘要:对于商超行业的大数据业务处理,我总结了三点方法论: 1、大批次数据分批次处理(从大变小) 2、小批次数据汇合处理(从小变大) 3、预计算提前处理(以空间换时间) 你总结的这三点方法论,精准契合了商超行业大数据的 **“海量、高频、多维度” 特性 **(如采购库存数据、实时订单、会员消费、促销报表等场
阅读全文
浙公网安备 33010602011771号