10 2022 档案

Arctic 基于 Hive 的流批一体实践
摘要：背景 随着大数据业务的发展，基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求，一方面已有很大体量的用户，但是在实时性，功能性上严重缺失；另一方面 Hudi，Iceberg 这类系统在事务性，快照管理上带来巨大提升，但是对已经存在的 Hive 用户有较大的迁移成本，并且难以满足流式计算毫秒级延 阅读全文
posted @ 2022-10-27 18:05 网易数帆 阅读(562) 评论(0) 推荐(0)
Apache Kyuubi 在B站大数据场景下的应用实践
摘要：01 背景介绍 近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示，我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来实 阅读全文
posted @ 2022-10-27 17:54 网易数帆 阅读(1417) 评论(0) 推荐(0)
KubeCube 新增版本转换：K8s 尝鲜再也不用担心影响老版本了
摘要：多租户可视化 K8s 管理平台 KubeCube近日迎来了新版本的发布，新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式，为集群和项目设置 Ingress 域名后缀等特性，也修复了若干已知问题，详见 ChangeLog。 该版本中最主要的特性是 Ve 阅读全文
posted @ 2022-10-20 15:46 网易数帆 阅读(228) 评论(0) 推荐(0)
SparkSQL on K8s 在网易传媒的落地实践
摘要：作者：鲁成祥 易顺 随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在 2021 年成功将 SparkSQL 部署到了 K8s 集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了一年多。期间传媒联合杭研 Spark 内核团队和云计算团队对出现的问题进行了 阅读全文
posted @ 2022-10-18 09:54 网易数帆 阅读(269) 评论(0) 推荐(0)
Service Mesh Summit 回顾 | 轻舟服务网格的无侵入增强 Istio 经验
摘要：在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上，网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验，本文据此次分享整理，介绍了对无侵入和实现的思考，轻舟服务网格演进过程中的扩展增强，以及这些扩展增强和无侵入的关系。这里“无侵入”强调 阅读全文
posted @ 2022-10-14 15:23 网易数帆 阅读(269) 评论(0) 推荐(0)
基于 Impala 的高性能数仓实践之物化视图服务
摘要：本文将主要介绍 NDH Impala 的物化视图实现。 接上篇，前两篇分别讲了执行引擎和虚拟数仓，它们是让一个 SQL 又快又好地执行的关键。但如果某些 SQL 过于复杂，比如多张大表进行 Join 并有大量的聚合类操作，那么再优秀的执行引擎也无法保证能够秒级执行完成，虚拟数仓的弹性扩展能力也很难及 阅读全文
posted @ 2022-10-13 17:56 网易数帆 阅读(407) 评论(0) 推荐(0)
走向现代化数据分析架构：趋势与挑战
摘要：走向现代化数据分析架构：趋势与挑战本文是网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源在ArchSummit 全球架构师峰会的演讲实录，分享对数据分析技术相关的趋势的观察和思考。 我来自网易杭州研究院，网易有不同的事业单元，包括媒体、教育、音乐、严选、游戏等，我们团队给所有的事业单元提供技术支撑。同时这几年我们也通过网易数帆 阅读全文
posted @ 2022-10-11 16:55 网易数帆 阅读(289) 评论(0) 推荐(0)