网易数帆

摘要： 01 背景介绍 近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、Hive。架构图如下所示，我们的BI、ADHOC以及DQC服务都是通过自研的Dispatcher路由服务来实 阅读全文

摘要： 多租户可视化 K8s 管理平台 KubeCube近日迎来了新版本的发布，新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式，为集群和项目设置 Ingress 域名后缀等特性，也修复了若干已知问题，详见 ChangeLog。 该版本中最主要的特性是 Ve 阅读全文

摘要： 作者：鲁成祥 易顺 随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在 2021 年成功将 SparkSQL 部署到了 K8s 集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了一年多。期间传媒联合杭研 Spark 内核团队和云计算团队对出现的问题进行了 阅读全文

摘要： 在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上，网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验，本文据此次分享整理，介绍了对无侵入和实现的思考，轻舟服务网格演进过程中的扩展增强，以及这些扩展增强和无侵入的关系。这里“无侵入”强调 阅读全文

摘要： 本文将主要介绍 NDH Impala 的物化视图实现。 接上篇，前两篇分别讲了执行引擎和虚拟数仓，它们是让一个 SQL 又快又好地执行的关键。但如果某些 SQL 过于复杂，比如多张大表进行 Join 并有大量的聚合类操作，那么再优秀的执行引擎也无法保证能够秒级执行完成，虚拟数仓的弹性扩展能力也很难及 阅读全文

摘要： 本文是网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源在ArchSummit 全球架构师峰会的演讲实录，分享对数据分析技术相关的趋势的观察和思考。 我来自网易杭州研究院，网易有不同的事业单元，包括媒体、教育、音乐、严选、游戏等，我们团队给所有的事业单元提供技术支撑。同时这几年我们也通过网易数帆 阅读全文

摘要： 从流批一体、湖仓一体、NoETL、数据中台到DataOps，现代数据分析领域热词迭出，企业如何抓住本质，经营数据生产力以提质增效？ 9月26-27日，ArchSummit全球架构师峰会杭州站举办，网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源受邀在会上发表主题演讲，深入浅出地剖析了现代化数据 阅读全文

摘要： 【点击了解更多网易大数据技术】 在9月16日召开的“2022 OSCAR开源产业大会”上，中国信息通信研究院发布了一系列开源研究成果和开源表彰，网易数帆发起的开源项目Apache Kyuubi荣获“OSCAR尖峰开源项目及开源社区”，有数大数据基础平台NDH荣获“OSCAR尖峰开源技术创新（二次开发 阅读全文

摘要： 【点击即可报名】 经济发展、数字化加速的今天企业数字化转型仍旧面临不少困惑：转型目标与可落地的价值之间相距甚远？拥抱云原生，新架构下如何推动业务创新？海量数据如何转化为业务资产？发展岔路之下，怎样找到变革增效最优解？ 9月23日，以“数智新机，增效共赢”为主题的2022网易数字+大会即将在杭州召开， 阅读全文

摘要： 【点击领取中国信通院《低代码发展白皮书（2022年）》】 9月1日-9月15日，由杭州市数据资源管理局（以下简称市数据资源局）主办的《浙江省公共数据条例》有奖知识竞赛活动正式启动。该活动旨在加强公共数据管理，促进公共数据应用创新，保障数字化改革，深化数智杭州建设，活动一经发布，便受到广大市民的关注。 阅读全文