刷新
hive on spark内存模型

博主头像 内容介绍 hive on spark的调优,那必然涉及到这一系列框架的内存模型。本章就是来讲一下这些框架的内存模型。 hive on spark的任务,从开始到结束。总共涉及了3个框架。分别是:yarn、hive、spark 其中,hive只是一个客户端的角色。就不涉及任务运行时的内存。所以这里主要 ...

实时数仓构建:Flink+OLAP查询的一些实践与思考

博主头像 以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓**,其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会实实在在遇到的问题。 很多人一提起实时数仓,就直接大谈特谈Hudi,Flink的流批一体等,但实际上,**实时数仓包括任何架构体系的构建如... ...

redis主从复制

博主头像 目录一、什么是redis主从复制1、主从复制架构2、redis为什么需要主从复制二、搭建主从复制1、涉及主机2、编译安装redis2.1、获取软件安装包,安装编译环境2.2、编译安装2.3、配置变量2.4、验证目录结构2.5、准备目录及文件3、前台启动redis3.1、消除三个警告提示4、使用sys ...

用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本

博主头像 在实际项目中,从Kafka到HDFS的数据是每天自动生成一个文件,按日期区分。而且Kafka在不断生产数据,因此看看kettle是不是需要时刻运行?能不能按照每日自动生成数据文件? 为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况,特地提前跑一下海豚定时调度这个任务,看看 ...

Mysql安装和远程登录--Centos7

博主头像 在Centos7中使用的包管理工具是yum,当然使用包管理工具安装也是最方便的。 本文操作内容需要在root用户下,否则有些步骤无法成功执行。 系统环境信息展示 安装 MySQL 提供的 RPM wget https://dev.mysql.com/get/mysql80-community-rel ...

主从延迟调优思路

博主头像 主从延迟调优思路 1、什么是主从延迟? 本质是从库的回放跟不上主库,回放阶段的延迟 2、主从延迟常见的原因有哪些? 1、大事务,从库回放时间较长,导致主从延迟 2、主库写入过于频繁,从库回放跟不上 3、参数配置不合理 4、主从硬件差异 5、网络延迟 6、表没有主键或者索引大量频繁的更新 7、一些读写 ...

OB导数工具使用经验分享

一、前言 OBDUMPER/OBLOADER是OceanBase官方推出的数据导出导入工具,可以用于OB租户间的数据迁移,对OB租户进行逻辑备份。不同于MySQL的MyDumper是C语言开发,OBDUMPER/OBLOADER是由java语言开发,因此它具备跨平台兼容性(x86/arm)。关于OB ...

如何在ubuntu[linux] 上用docker安装Sqlserver

博主头像 本次按照目前最新版本Sqlserver2022进行记录 先决条件 任何受支持的 Linux 发行版上的 Docker 引擎 1.8 及更高版本。 有关详细信息,请参阅 Install Docker(安装 Docker)。 有关硬件要求和处理器支持的详细信息,请参阅SQL Server 2022:硬件 ...

快速部署sqlserver AlwaysOn集群

博主头像 点击查看代码 丐版sqlserver集群 之前试过docker的,k8s的,然后发现,还是最朴素的是最简单的,希望有大佬能够汉化,他妈的,那些英文看得人要发癫啊。 前置准备,参照丐版pxc集群: https://www.cnblogs.com/zwnfdswww/p/18112077 如果不关防火墙 ...

从库延迟案例分析

博主头像 背景介绍 近来一套业务系统,从库一直处于延迟状态,无法追上主库,导致业务风险较大。从资源上看,从库的CPU、IO、网络使用率较低,不存在服务器压力过高导致回放慢的情况;从库开启了并行回放;在从库上执行show processlist看到没有回放线程阻塞,回放一直在持续;解析relay-log日志文件 ...

mysql~GROUP_CONCAT实现关系表的行转列

博主头像 作用 GROUP_CONCAT 是 MySQL 中用于将查询结果集中的多行数据合并为单个字符串的聚合函数。它将每行数据的指定字段值连接起来,并以指定的分隔符分隔,最终返回一个包含所有值的字符串。 以下是 GROUP_CONCAT 函数的一般语法: SELECT GROUP_CONCAT(column ...

<1···101112···50>