字节跳动数据平台

摘要： 实时数据湖在字节跳动的实践 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 “一站式数据治理解决方案及平台架构”的分享会分为四个部分展开： 首先，明确数据治理的概念，从平台视角出发，介绍在字节跳动内部数据治理所服务的目标 其次，介绍字节跳动内部数据治理的现状与我们需要解决的问题 阅读全文

摘要： UniqueMergeTree 开发的业务背景 首先，我们看一下哪些场景需要用到实时更新。 我们总结了三类场景： 第一类是业务需要对它的交易类数据进行实时分析，需要把数据流同步到 ClickHouse 这类 OLAP 数据库中。大家知道，业务数据诸如订单数据天生是存在更新的，所以需要 OLAP 数据 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 字节跳动数据平台开发套件数据开发团队自研了基于依赖关系的全链路智能监控报警——基线监控，目前已在字节跳动内部得到广泛使用，覆盖抖音、电商、广告等100+个项目，SLA任务的基线监控覆盖率超过80%。 随着 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 作为一款面向 ToB 市场的产品——火山引擎 A/B 测试（DataTester）为了满足客户对数据安全、合规问题等需求，探索私有化部署是产品无法绕开的一条路。 在面向 ToB 客户私有化的实际落地中，火 阅读全文

摘要： 基于字节跳动分布式治理的理念，数据平台数据治理团队自研了SLA保障平台，目前已在字节内部得到广泛使用，并支持了绝大部分数据团队的SLA治理需求，每天保障的SLA链路数量过千，解决了数据SLA难对齐、难保障、难管理的问题。 背景介绍 SLA（Service Level Agreement）：服务级别协 阅读全文

摘要： SparkSQL是Spark生态系统中非常重要的组件。面向企业级服务时，SparkSQL存在易用性较差的问题，导致难满足日常的业务开发需求。本文将详细解读，如何通过构建SparkSQL服务器实现使用效率提升和使用门槛降低。 前言 Spark 组件由于其较好的容错与故障恢复机制，在企业的长时作业中使用 阅读全文

摘要： - 文末立即下载白皮书原文 - 近期，《火山引擎A/B测试总体经济影响白皮书》正式发布。这份白皮书由市场研究公司Forrester调研撰写，揭示了A/B测试对于企业营收增长、运营成本、生产力优化等方面的重要影响。基于对多家企业调研，Forrester发现企业营收增长与其洞察力高度相关，领先企业的营收 阅读全文

摘要： 作为数据目录产品，Data Catalog 通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。本文介绍了字节跳动 Data Catalog 系统的构建和迭代过程，将分为上、下篇发布。上篇主要围绕 Data Catalog 阅读全文

摘要： 面向快速迭代，如何降低上线风险？字节跳动 DataTester 团队找到风险与迭代的平衡点——渐进式发布。 阅读全文