刷新
利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库(一)云上云下数据同步方案设计

博主头像 引言 在数据驱动的世界中,企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。 Apache EMR(E ...

用DolphinScheduler轻松实现Flume数据采集任务自动化!

博主头像 转载自天地风雷水火山泽 目的 因为我们的数仓数据源是Kafka,离线数仓需要用Flume采集Kafka中的数据到HDFS中。 在实际项目中,我们不可能一直在Xshell中启动Flume任务,一是因为项目的Flume任务很多,二是一旦Xshell页面关闭Flume任务就会停止,这样非常不方便,因此必须 ...

对接HiveMetaStore,拥抱开源大数据

博主头像 本文分享自华为云社区《对接HiveMetaStore,拥抱开源大数据》,作者:睡觉是大事。 1. 前言 适用版本:9.1.0及以上 在大数据融合分析时代,面对海量的数据以及各种复杂的查询,性能是我们使用一款数据处理引擎最重要的考量。而GaussDB(DWS)服务有着强大的计算引擎,其计算性能优于MR ...

指标+AI:迈向智能化,让指标应用更高效

博主头像 近日,以“Data+AI,构建新质生产力”为主题的袋鼠云春季发布会圆满落幕,大会带来了一系列“+AI”的数字化产品与最新行业沉淀,旨在将数据与AI紧密结合,打破传统的生产力边界,赋能企业实现更高质量、更高效率的数字化发展。会上,袋鼠云业务总经理申杭带来了以“指标+AI:迈向智能化,让指标应用更高效” ...

GreatSQL统计信息相关知识点

博主头像 相关知识点: INNODB_STATS_PERSIST=ON或用STATS_PERSIST=1定义单个表时,优化器统计信息将持久化到磁盘。默认情况下,innodb_stats_persistent是启用的。 持久统计信息存储在mysql.innodb_table_stats和mysql.innodb ...

告别手动调度,海豚调度器 3.1.x 集群部署让你轻松管理多机!

博主头像 转载自第一片心意 1 前言 由于海豚调度器官网的集群部署文档写的较乱,安装过程中需要跳转到很多地方进行操作,所以自己总结了一篇可以直接跟着从头到尾进行操作的文档,以方便后续的部署、升级、新增节点、减少节点的相关操作。 2. 提前准备 2.1. 基础组件 JDK:下载JDK (1.8+),安装并配置 ...

重磅新品发布!云耀数据库HRDS,享受轻量级的极致体验

博主头像 本文分享自华为云社区《重磅新品发布!云耀数据库HRDS,享受轻量级的极致体验!》,作者:GaussDB 数据库。 所谓,凡有井水处,即能歌柳词。 大数据时代,凡有数据处,必有数据库。 随着业务需求的不断扩大和数据量的激增,数据库的使用场景渗透到了生活的方方面面,不再是大型企业或技术部门的专利,市场对 ...

玩转云端 | 拥有HBlock这项“存储盘活绝技”,数据中心也能“热辣瘦身”!

博主头像 夏天马上就要到了,“瘦身”不光是特定人群的需求,也是数据中心的需求。构建轻量化、低碳化、高性价比的新型数据中心,更有效地支撑经济社会数字化转型,已成为业界主流趋势。 如何让数据中心“热辣瘦身”?轻量级存储集群控制器——天翼云存储资源盘活系统HBlock必不可少! “HBlock健身房”究竟是如何发挥 ...

123···50>