摘要: 定了!这场9月网易必看大会重磅来袭,报名通道正式开启! 随着行业数字化深入探索,企业数字化转型成为了当下热门话题。 2022网易数字+大会将以“数智新机 增效共赢”为主题,首发生产力模型、生态政策等,此外还有丰富的行业最佳实践分享、行业知名专家对话,共同探讨企业数字化转型新思路、新方向。 这是一场技术、商业的双向奔赴,共话数智新机,实现增效共赢。 阅读全文
posted @ 2022-09-06 17:46 网易数帆 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 【点击了解更多大数据】 盘点行业内近期发生的大事,Delta 2.0 的开源是最让人津津乐道的,尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比,颇有些引战的味道。 虽然 Databricks 的工程师反复强调性能测试来自第三方 Databeans,并且他们没有主动要求 阅读全文
posted @ 2022-08-12 10:23 网易数帆 阅读(215) 评论(0) 推荐(0) 编辑
摘要: Curve 是云原生计算基金会 (CNCF) Sandbox 项目,是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。 为了让大家更容易使用以及了解 Curve,我们期望接下来通过系列应用实践文章,以专题的形式向大家展示 Curve。 本篇文章是Curve块存储应用实践的第一篇,该系列文章 阅读全文
posted @ 2022-12-06 16:42 网易数帆 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 伴随着国家产业升级的推进和云原生技术成熟,多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 多点 DMALL 成立于2015年,提供一站式全渠道数字零售解决方案 DMALL OS,目前已与 阅读全文
posted @ 2022-11-25 13:54 网易数帆 阅读(63) 评论(0) 推荐(0) 编辑
摘要: 网易传媒基于 Arctic 的低成本准实时计算实践 网易传媒大数据实际业务中,存在着大量的准实时计算需求场景,业务方对于数据的实效性要求一般是分钟级;这种场景下,用传统的离线数仓方案不能满足用户在实效性方面的要求,而使用全链路的实时计算方案又会带来较高的资源占用。 基于对开源数据湖方案的调研,我们注意到了网易数帆开源的基于 Apache Iceber 阅读全文
posted @ 2022-11-09 17:12 网易数帆 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 背景 随着大数据业务的发展,基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面 Hudi,Iceberg 这类系统在事务性,快照管理上带来巨大提升,但是对已经存在的 Hive 用户有较大的迁移成本,并且难以满足流式计算毫秒级延 阅读全文
posted @ 2022-10-27 18:06 网易数帆 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 01 背景介绍 近几年随着B站业务高速发展,数据量不断增加,离线计算集群规模从最初的两百台发展到目前近万台,从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示,我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来实 阅读全文
posted @ 2022-10-27 17:55 网易数帆 阅读(82) 评论(0) 推荐(0) 编辑
摘要: 多租户可视化 K8s 管理平台 KubeCube近日迎来了新版本的发布,新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式,为集群和项目设置 Ingress 域名后缀等特性,也修复了若干已知问题,详见 ChangeLog。 该版本中最主要的特性是 Ve 阅读全文
posted @ 2022-10-20 15:46 网易数帆 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 作者:鲁成祥 易顺 随着云原生技术的发展和成熟,大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在 2021 年成功将 SparkSQL 部署到了 K8s 集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了一年多。期间传媒联合杭研 Spark 内核团队和云计算团队对出现的问题进行了 阅读全文
posted @ 2022-10-18 09:54 网易数帆 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上,网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验,本文据此次分享整理,介绍了对无侵入和实现的思考,轻舟服务网格演进过程中的扩展增强,以及这些扩展增强和无侵入的关系。这里“无侵入”强调 阅读全文
posted @ 2022-10-14 15:23 网易数帆 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 本文将主要介绍 NDH Impala 的物化视图实现。 接上篇,前两篇分别讲了执行引擎和虚拟数仓,它们是让一个 SQL 又快又好地执行的关键。但如果某些 SQL 过于复杂,比如多张大表进行 Join 并有大量的聚合类操作,那么再优秀的执行引擎也无法保证能够秒级执行完成,虚拟数仓的弹性扩展能力也很难及 阅读全文
posted @ 2022-10-13 17:56 网易数帆 阅读(35) 评论(0) 推荐(0) 编辑
摘要: 走向现代化数据分析架构:趋势与挑战 本文是网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源在ArchSummit 全球架构师峰会的演讲实录,分享对数据分析技术相关的趋势的观察和思考。 我来自网易杭州研究院,网易有不同的事业单元,包括媒体、教育、音乐、严选、游戏等,我们团队给所有的事业单元提供技术支撑。同时这几年我们也通过网易数帆 阅读全文
posted @ 2022-10-11 16:55 网易数帆 阅读(47) 评论(0) 推荐(0) 编辑