字节跳动数据平台

摘要： 年末购物季已至，近些年来，预售抵扣、平台满减、品类专享券、大额补贴……动辄四五种计算方法叠加的大促活动，让不少消费者“懵”感十足。同一样商品，到底谁家卖的最便宜？比价平台应声发展而出。 但高效的基础”比价“服务，只是吸引用户的第一步。在激烈的竞争中，如何满足用户个性化需求，让比价过程能更精准匹配用户 阅读全文

摘要： 导读 BitSail 是字节跳动开源数据集成引擎，支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下全域数据集成解决方案，目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验，在性能、稳定性上得到较好验证。 10 月 26 日，字节跳动宣布 Bit 阅读全文

摘要： 更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 背景 火山引擎增长分析DataFinder基于ClickHouse来进行行为日志的分析，ClickHouse的主要版本是基于社区版改进开发的字节内部版本。主要的表结构： 事件表：存储用户行为数据，以用户ID分sha 阅读全文

摘要： 更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Doris简介 Doris是一种MPP架构的分析型数据库，主要面向多维分析，数据报表，用户画像分析等场景。自带分析引擎和存储引擎，支持向量化执行引擎，不依赖其他组件，兼容MySQL协议。 Apache Doris具 阅读全文

摘要： 更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 数据地图平台是字节跳动内部的大数据检索平台，每天近万的字节员工在此查找所需数据。数据地图通过提供便捷的找数，理解数服务，大大节省了内部数据的沟通和建设成本。 血缘图谱由 xGraph 与数据地图平台团队合作研发。x 阅读全文

摘要： 更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景 阅读全文

摘要： 更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 相信大家都对大名鼎鼎的ClickHouse有一定的了解了，它强大的数据分析性能让人印象深刻。但在字节大量生产使用中，发现了ClickHouse依然存在了一定的限制。本篇将详细介绍我们是如何为ClickHouse增强 阅读全文

摘要： 更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 1.前言 埋点设计文档面向开发的埋点需求说明书，目的是让开发理解需要在什么情况下做哪些埋点采集，以及具体需要的属性参数类型、取值，确保采集的准确性和完善性。为实现整体指标体系，数据产品落地、使用，需要对开发进行埋点 阅读全文

摘要： 更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 一、前言 背景： AB实验具有一定前瞻性，统计性，科学性的特性。用好了就实现了在大数据时代的充分利用数据分析问题，解决问题，为决策提供强有力的依据，但是有时候用户在使用AB实验时候，会出现一些痛点和疑惑。 痛点： 阅读全文

摘要： 更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 前不久，在 6月29日 Databricks 举办的 Data + AI Summit 上，火山引擎向大家首次介绍了 UIMeta，一款致力于监控、分析和优化的新型云原生 Spark History Server， 阅读全文