字节跳动数据平台

摘要： 整体架构 火山引擎DataLeap的Catalog搜索系统使用了开源的搜索引擎Elasticsearch进行基础的文档检索（Recall阶段），因此各种资产元数据会被存放到Elasticsearch中。整个系统包括4个主要的数据流程： 实时导入。资产元数据变更时相应的平台发出实时变更消息，Data 阅读全文

摘要： 数据标准是数据治理体系中的核心要素之一。 一方面，统一的数据标准可以在复杂的业务场景下，帮助团队对齐数据口径，提升数据在分析、诊断等场景的质量与效率；另一方面，数仓团队与分析师团队也需要沉淀一套敏捷、可控的数据标准指标管理流程，以便后续在指标口径的增加、修改、下线等方向更标准、高效。 但数据标准建设 阅读全文

摘要： > 使用原生ClickHouse集群进行节点数据查询和写入时，离不开第三方开源网关组件chproxy支持。但由于chproxy缺少TCP协议支持，导致性能、查询能力等受限。这也成为困扰众多ClickHouse开发者的一大难题。那么，究竟应该如何突破？本文将揭秘火山引擎ByteHouse企业版自研网关 阅读全文

摘要： 火山引擎DataLeap的Data Catalog系统通过汇总和组织各种元数据，解决了数据生产者梳理数据、数据消费者找数和理解数的业务场景，其中搜索是Data Catalog的主要功能之一。本文详细介绍了火山引擎DataLeap的Catalog系统搜索实践：功能的设计与实现。 Data Catalo 阅读全文

摘要： 中国头部游戏公司莉莉丝游戏（Lilith Games）和火山引擎 ByteHouse 达成合作，共同致力于加速莉莉丝游戏的实时数仓建设。此次合作将利用 ByteHouse 的创新技术和功能，为莉莉丝的DAP提效提供全面支持和帮助。 莉莉丝游戏是中国中生代游戏公司代表，在中国游戏市场保持领先地位。为了 阅读全文

摘要： 当前，营销技术步入了全渠道、全周期的全域时代，随着广泛的数据积累，数据科学技术在营销领域发挥着越来越重要的作用，从消费者人群洞察到智能化信息广告投放，营销的提效让企业得以在转化的每个环节提升影响力，拓展营销的可能性。本文以火山引擎A/B测试（DataTester）应用为例，讲述在企业在全域营销场景下 阅读全文

摘要： 近期，火山引擎DataLeap和技术社区DataFun联合发布《数据治理知识地图专业版V1》（以下简称“地图”），地图将数据治理的领域、流程、技术、工具等内容进行系统化整理和分类，为从业者提供全面的学习和思路参考。 据介绍，《数据治理知识地图专业版V1》包括引言、数据治理体系、治理流程落地、数据治理 阅读全文

摘要： 在原始数据中，是以一个数组的形式返回节点信息及依赖关系。所以，需要对数据进行处理形成图所需要的数据，同时，利用多个 map 对数据进行存储，方便后续对数据进行检索，减少时间复杂度。 实例节点的样式需要通过基础图形 Text（文本）、Rect（矩形）、Icon（图标）进行组合，以达到我们的设计要求。 阅读全文

摘要： BitSail是字节跳动开源数据集成引擎，于2022年10月26日宣布开源，可支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下全域数据集成解决方案。BitSail支撑了字节内部众多的业务线，支持多种数据源之间的批式/流式/增量同步，日均数据传输量达上百PB。在开源后，CDC相关的诉 阅读全文

摘要： 幸福里APP是抖音集团旗下开发运营的集内容、社区、工具于一体的房产信息综合平台，基于个性化推荐引擎向用户推荐优质的房产内容房源信息。本文将介绍幸福里APP应用火山引擎A/B测试DataTester完成产品体验优化，并解决实验流量过度曝光的案例。 幸福里APP在整理用户反馈时，发现了一个产品使用体验上 阅读全文