字节跳动数据平台

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 序言 埋点数据作为推荐、搜索、产品优化的基石，其数据质量的重要性不言而喻，而要保障埋点数据的质量，埋点验证则首当其冲。工欲善其事必先利其器，要做好埋点验证会面临很多技术挑战：易用性、准确性、实时性、稳定性 阅读全文

摘要： 在字节跳动各产品线飞速成长的过程中，对数据分析能力也提出了更高的要求，现有的主流数据分析产品都没办法完全满足业务要求。因此，字节跳动在ClickHouse引擎基础上重构了技术架构，实现了云原生环境的部署和运维管理、存储计算分离、多租户管理等能力，推出了云原生数据仓库ByteHouse。 在性能、可扩 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 看板/仪表盘/Dashboard是数据分析结果的呈现。用于向读者传达有效的数据信息和业务见解，让数据更清晰直观的展示业务面貌，帮助读者发现关键指标，提升决策速度。 由于看板本身承载的价值，搭建一个清晰可用 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 需求背景 数据探查上线之前，数据验证都是通过写 SQL 方式进行查询的，从编写 SQL，到解析运行出结果，不仅时间长，还会反复消耗计算资源，探查上线后，只需要一次探查，就可以得到整张表的探查报告，但后续我 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近年来，OLAP产品的竞争日渐激烈，目前企业间流行的既有Impala、Greenplum等上一代较为成熟的数据分析产品，也有ClickHouse、Kylin、Druid、Doris、StarRocks等在 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 ClickHouse 作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型 DBMS 难以企及的查询速度。作为该领域中的后起之秀，ClickHouse 已凭借其性能优势引领了业内新一轮分析型数据 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 本文将介绍字节跳动在埋点数据流业务场景遇到的需求和挑战以及具体实践，包含埋点数据流简介、埋点数据流建设实践、埋点数据流治理实践以及未来规划。关注字节跳动数据平台微信公众号，回复【0627】获得本次分享材料 阅读全文

摘要： 更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 中国游戏行业发展现状及挑战 国内市场增长乏力 2021年游戏销售收入2965.13亿元，同比增长6.4%，增速相较于2020年减少近15%。游戏用户规模达6.66亿人，同比增长仅为0.22%。2021年游 阅读全文

摘要： 数据仓库发展历程很久，随着云计算等技术发展以及海量数据应用场景等出现，对数据仓库提出全新要求，高性能、实时性、云原生等成为数据仓库发展关键词，也因此演变出不同的数仓发展路径。 在字节跳动十年发展历程中，各类业务数据量膨胀，不断挑战数据能力边界，也让字节跳动在数据链路优化处理、提升分析效率、数据仓库选 阅读全文

摘要： 字节的 DataCatalog 系统，在 2021 年进行过大规模重构，新版本的存储层基于 Apache Atlas 实现。迁移过程中，我们遇到了比较多的性能问题。本文以 Data Catalog 系统升级过程为例，与大家讨论业务系统性能优化方面的思考，也会介绍我们关于 Apache Atlas 相关的性能优化。 阅读全文