摘要： 一、平台介绍 财务自营计费主要承接京东自营数据在整个供应链中由C端转B端的功能实现，在整个供应链中属于靠后的阶段了，系统主要功能是计费和向B端的汇总。 二、问题描述 近年来自营计费数据量大增，有百亿+的数据量，一天中汇总占据了一半的数据库资源。 1、每天从单表千万W+中定位几万数据执行汇总，即全库全 阅读全文

摘要： 一、背景 京东APP商品详情页展示的评价数据通过单独请求评价接口获取，与商详模块流量近乎1:1，需要共同应对秒杀等海量流量的冲击，存在突发流量风险。经过对用户操作行为和评价埋点信息分析，评价调用与商详流量解耦可行，预期收益显著。为此，评价与商详模块研发人员组成虚拟攻坚小组，推进解耦方案实施。 如图所 阅读全文

摘要： 一、前言 京东广告训练框架随着广告算法业务发展的特点也在快速迭代升级，回顾近几年大致经历了两次大版本的方案架构演变。第一阶段，随着2016年Tensorflow训练框架的开源，业界开始基于Tensorflow开源框架训练更复杂的模型。模型对特征规模和参数规模需求不断提升，大规模稀疏模型具有更强的表征 阅读全文

摘要： 1概况 本文展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。 2系统架构 我们整理架构图如下 阅读全文

摘要： 一、背景： 系统日志可用于追踪用户操作轨迹，异常情况下，合理的日志有助于快速排查、定位问题，毫无疑问，打印日志对于系统是很重要的。 当业务规模较小时，大家都倾向于享受日志带来的便利，从而忽略日志带来的潜在的负面影响，缺乏对日志的管控。在JD当前用户量、业务规模下，绝大多数C端系统、甚至B端系统都是高 阅读全文

摘要： ​ 前言 我们在刚开始学习ClickHouse的MergeTree引擎时，就会发现建表语句的末尾总会有SETTINGS index_granularity = 8192这句话（其实不写也可以），表示索引粒度为8192。在每个data part中，索引粒度参数的含义有二： 每隔index_granul 阅读全文

摘要： 一、解决什么问题 一个任务中心技术实现的参考案例，可以快速部署实现且仅需关注业务个性落库逻辑实现，其他如任务状态维护、数据解析及异常包装、结果导出均由工具自动实现。 二、基本原理 图1 请求示意图 异步任务中心共分三个模块： 1）任务初始化, 将目标导入文件上传至云存储后得到目标文件url按任务类型 阅读全文

摘要： 1）【莫奈可视化平台】新品上线 京东莫奈可视化平台通过自由拖拽、图形化编辑、所见即所得的方式，快速实现极致酷炫、直观清晰的视觉场景，将海量繁杂数据背后所蕴含的价值更直观、深层、全面的展现出来，辅助决策者合理决策。 2）【移动端应用监控 SGM-mobile】新品上线 移动端监控SGM-Mobile专 阅读全文

摘要： streampark+flink一键整库或多表同步mysql到doris实战，此应用一旦推广起来，那么数据实时异构时，不仅可以减少对数据库的查询压力，还可以减少数据同步时的至少50%的成本，还可以减少30%的存储成本； streampark搭建 二进制包编译构建 编译构建二进制可执行包，使用自己构建 阅读全文

摘要： 很多不太了解的人会认为：数据治理就是干数据清洗的。 近两年，在我们公司，数据治理团队在数据降本方面做的比较多，效果还不错，我们很多人可能以为：数据治理就是做数据清理的。 在京东科技集团数据治理工作组第一次全体会议上，我就讲过数据治理和数据清洗之间的关系： 数据清洗只是指通过识别和纠正数据中的错误、缺 阅读全文