上一页 1 2 3 4 5 6 ··· 119 下一页
摘要: 针对业务场景中数据应用价值的落地,网易数帆形成了以 DataOps、DataFusion、DataProduct 为内核,数据技术、数据资产、数据应用和数据运营为四要素的数据生产力模型,其中网易公司数据运营的一个重要手段是网易数据治理大赛。本文是第二届网易数据治理大赛获奖作品分享,来自于网易互娱用户 阅读全文
posted @ 2023-01-09 18:11 网易数帆 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 直播时间:2022年12月21日 14:00-15:30 直播主题:企业级低代码为软件服务商降本增效 在当前的数字化转型趋势下,作为一款降本增效的工具,低代码正行驶在快车道之上,大大降低了数字化建设的门槛,使得数字化手段不再只是小部分头部企业的专利,每家企业都能快速上手。 对于软件服务商来说,借助低 阅读全文
posted @ 2022-12-19 17:17 网易数帆 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 数字化时代下,无论是企业的管理者,还是一线员工无时无刻不在和数据打交道,如何用好数据、挖掘更多数据价值是每家企业都将或正在面临的问题。 因此,有效进行治理数据,是推动企业数据价值释放的必要手段。 为此,网易数帆联合全球知名中文IT技术交流平台CSDN重磅发布《网易数据治理白皮书》(以下简称“白皮书” 阅读全文
posted @ 2022-12-13 17:06 网易数帆 阅读(101) 评论(0) 推荐(0) 编辑
摘要: Curve 是云原生计算基金会 (CNCF) Sandbox 项目,是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。 为了让大家更容易使用以及了解 Curve,我们期望接下来通过系列应用实践文章,以专题的形式向大家展示 Curve。 本篇文章是Curve块存储应用实践的第一篇,该系列文章 阅读全文
posted @ 2022-12-06 16:42 网易数帆 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 伴随着国家产业升级的推进和云原生技术成熟,多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 多点 DMALL 成立于2015年,提供一站式全渠道数字零售解决方案 DMALL OS,目前已与 阅读全文
posted @ 2022-11-25 13:54 网易数帆 阅读(400) 评论(0) 推荐(0) 编辑
摘要: 网易传媒基于 Arctic 的低成本准实时计算实践 网易传媒大数据实际业务中,存在着大量的准实时计算需求场景,业务方对于数据的实效性要求一般是分钟级;这种场景下,用传统的离线数仓方案不能满足用户在实效性方面的要求,而使用全链路的实时计算方案又会带来较高的资源占用。 基于对开源数据湖方案的调研,我们注意到了网易数帆开源的基于 Apache Iceber 阅读全文
posted @ 2022-11-09 17:12 网易数帆 阅读(410) 评论(0) 推荐(0) 编辑
摘要: 背景 随着大数据业务的发展,基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面 Hudi,Iceberg 这类系统在事务性,快照管理上带来巨大提升,但是对已经存在的 Hive 用户有较大的迁移成本,并且难以满足流式计算毫秒级延 阅读全文
posted @ 2022-10-27 18:06 网易数帆 阅读(482) 评论(0) 推荐(0) 编辑
摘要: 01 背景介绍 近几年随着B站业务高速发展,数据量不断增加,离线计算集群规模从最初的两百台发展到目前近万台,从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示,我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来实 阅读全文
posted @ 2022-10-27 17:55 网易数帆 阅读(760) 评论(0) 推荐(0) 编辑
摘要: 多租户可视化 K8s 管理平台 KubeCube近日迎来了新版本的发布,新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式,为集群和项目设置 Ingress 域名后缀等特性,也修复了若干已知问题,详见 ChangeLog。 该版本中最主要的特性是 Ve 阅读全文
posted @ 2022-10-20 15:46 网易数帆 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 作者:鲁成祥 易顺 随着云原生技术的发展和成熟,大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在 2021 年成功将 SparkSQL 部署到了 K8s 集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了一年多。期间传媒联合杭研 Spark 内核团队和云计算团队对出现的问题进行了 阅读全文
posted @ 2022-10-18 09:54 网易数帆 阅读(164) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 119 下一页