字节跳动数据平台

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 本文将介绍字节跳动在埋点数据流业务场景遇到的需求和挑战以及具体实践，包含埋点数据流简介、埋点数据流建设实践、埋点数据流治理实践以及未来规划。关注字节跳动数据平台微信公众号，回复【0627】获得本次分享材料 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 中国游戏行业发展现状及挑战 国内市场增长乏力 2021年游戏销售收入2965.13亿元，同比增长6.4%，增速相较于2020年减少近15%。游戏用户规模达6.66亿人，同比增长仅为0.22%。2021年游 阅读全文

摘要： 数据仓库发展历程很久，随着云计算等技术发展以及海量数据应用场景等出现，对数据仓库提出全新要求，高性能、实时性、云原生等成为数据仓库发展关键词，也因此演变出不同的数仓发展路径。 在字节跳动十年发展历程中，各类业务数据量膨胀，不断挑战数据能力边界，也让字节跳动在数据链路优化处理、提升分析效率、数据仓库选 阅读全文

摘要： 字节的 DataCatalog 系统，在 2021 年进行过大规模重构，新版本的存储层基于 Apache Atlas 实现。迁移过程中，我们遇到了比较多的性能问题。本文以 Data Catalog 系统升级过程为例，与大家讨论业务系统性能优化方面的思考，也会介绍我们关于 Apache Atlas 相关的性能优化。 阅读全文

摘要： 实时数据湖在字节跳动的实践 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 “一站式数据治理解决方案及平台架构”的分享会分为四个部分展开： 首先，明确数据治理的概念，从平台视角出发，介绍在字节跳动内部数据治理所服务的目标 其次，介绍字节跳动内部数据治理的现状与我们需要解决的问题 阅读全文

摘要： UniqueMergeTree 开发的业务背景 首先，我们看一下哪些场景需要用到实时更新。 我们总结了三类场景： 第一类是业务需要对它的交易类数据进行实时分析，需要把数据流同步到 ClickHouse 这类 OLAP 数据库中。大家知道，业务数据诸如订单数据天生是存在更新的，所以需要 OLAP 数据 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 字节跳动数据平台开发套件数据开发团队自研了基于依赖关系的全链路智能监控报警——基线监控，目前已在字节跳动内部得到广泛使用，覆盖抖音、电商、广告等100+个项目，SLA任务的基线监控覆盖率超过80%。 随着 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 作为一款面向 ToB 市场的产品——火山引擎 A/B 测试（DataTester）为了满足客户对数据安全、合规问题等需求，探索私有化部署是产品无法绕开的一条路。 在面向 ToB 客户私有化的实际落地中，火 阅读全文

摘要： 基于字节跳动分布式治理的理念，数据平台数据治理团队自研了SLA保障平台，目前已在字节内部得到广泛使用，并支持了绝大部分数据团队的SLA治理需求，每天保障的SLA链路数量过千，解决了数据SLA难对齐、难保障、难管理的问题。 背景介绍 SLA（Service Level Agreement）：服务级别协 阅读全文