随笔分类 - 数据库
数据库相关
摘要：人大金仓（KingbaseES）跨数据库集群实例数据同步：全方案详解 人大金仓（KingbaseES）作为国产数据库标杆，其跨集群数据同步需结合 数据库原生特性、中间件工具、业务场景 综合设计，核心目标是实现 数据一致性、低延迟、高可用。本文从同步场景、技术方案、部署实操、问题排查四个维度，提供结构
阅读全文
摘要：数据库分库分表、分区（Partition）的设计详解 数据库的分库分表和分区（Partition）是应对大数据量场景的核心技术，但两者的设计思路、适用场景和实现方式有本质区别。下面从概念、设计原则、实现方式、适用场景等方面详细解析： 一、核心概念与本质区别 维度分区（Partition）分库分表 本
阅读全文
摘要：达梦 https://www.dameng.com/ https://eco.dameng.com/document/dm/zh-cn/pm/index.html https://www.sqlark.com/ 人大金仓 https://www.kingbase.com.cn/product/det
阅读全文
摘要：数据库 单机 / 主备 / 主从 / 多主架构选择 数据库架构的选择需围绕业务优先级（如高可用、读写性能、数据一致性）、成本预算和维护复杂度展开。以下是单机、主备、主从、多主四种核心架构的详细对比及选择建议： 一、单机架构（Single Node） 核心定义 仅部署一台数据库服务器，所有读写请求均由
阅读全文
摘要：在分库分表架构中，客户端解决方案和服务端解决方案的核心区别在于：分库分表的逻辑（如 “数据该路由到哪个分库 / 分表”）是在 “应用程序端” 实现，还是在 “独立的中间服务端” 实现。两者的架构、适用场景和优缺点有显著差异，以下是详细解析： 一、客户端分库分表解决方案 定义：分库分表的逻辑（数据路由
阅读全文
摘要：数据库、实例、机器（服务器）是数据库系统中的三个核心概念，它们之间存在明确的层级关系和依赖关系，以下是详细解析： 1. 机器（物理服务器 / 虚拟机） 定义：指运行数据库软件的物理硬件设备（如服务器主机）或虚拟机器（如 VMware、云服务器 EC2 等），是底层的硬件资源载体。 包含的资源： 硬件
阅读全文
摘要：一、基础篇 查询数据 本节将学习如何从Oracle数据库中查询数据。 ● Select语句 - 演示如何查询单个表中的数据。 排序数据 ● ORDER BY语句 - 按升序或降序对查询的结果集进行排序。 过滤数据 ● DISTINCT - 介绍如何消除查询输出中的重复行。 ● WHERE - 演示如
阅读全文
摘要：https://www.runoob.com/postgresql/postgresql-tutorial.html
阅读全文
摘要：https://blog.csdn.net/bochuangli/article/details/123029392 https://blog.csdn.net/bochuangli/article/details/123014331 文章目录1 概述1.1分库分表是什么1.2 分库分表的方式1.2
阅读全文
摘要：一、Sharding-JDBC 简介 最早是当当网内部使用的一款分库分表框架，到2017年的时候才开始对外开源，这几年在大量社区贡献者的不断迭代下，功能也逐渐完善，现已更名为 ShardingSphere，2020年416正式成为 Apache 软件基会的顶级项。 随着版本的不断更迭 的核心功能也变
阅读全文
摘要：一、什么是数据的优化 数据库的优化是一个综合型的技术，并不是通过某一种方式让数据库效率提高很多， 而使通过多方便的提高，从而使数据提高很多 主要包括 1. 表的设计合理化 2. SQL语句的优化 3. 给表要添加合适的索引 普通索引、主键所以，唯一索引 unique、全文索引 4. 分表技术（水平分
阅读全文
摘要：分库分表 理论 当一张表的数据达到几千万时，查询一次所花的时间会变长。业界公认MySQL单表容量在 1千万 以下是最佳状态，因为这时它的BTREE索引树高在3~5之间。 数据切分可以分为：垂直切分和水平切分。 一、垂直切分 垂直切分又可以分为: 垂直分库和垂直分表。 1、垂直分库 概念 就是根据业务
阅读全文
摘要：背景 这两年互联网行业掀着一股新风，总是听着各种高大上的新名词。大数据、人工智能、物联网、机器学习、商业智能、智能预警啊等等。 以前的系统，做数据可视化，信息管理，流程控制。现在业务已经不仅仅满足于这种简单的管理和控制了。数据可视化分析，大数据信息挖掘，统计预测，建模仿真，智能控制成了各种业务的追求
阅读全文
摘要：1、Maxwell 简介 Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog，并生成 Json格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维
阅读全文
摘要：1 Sqoop概述 2 版本说明 3 驱动安装 3.1 MySQL 4 基本用法 4.1 导入 4.1.1 保护密码 4.1.2 使用其他文件格式 4.1.3 压缩导入的数据 4.1.4 提高传输速度 4.1.5 自定义类型映射 4.1.6 并行控制 4.1.7 对NULL值进行编码 4.1.8 导
阅读全文
摘要：ShardingSphere实现分库分表 有关分库分表前面写了四篇博客: 1、分库分表(1) 理论 2、分库分表(2) ShardingSphere(理论) 3、分库分表(3) SpringBoot + ShardingSphere实现读写分离 4、分库分表(4) SpringBoot + Shar
阅读全文
摘要：ShardingSphere 理论 ShardingSphere在中小企业需要分库分表的时候用的会比较多，因为它维护成本低，不需要额外增派人手;而且目前社区也还一直在开发和维护，还算是比较活跃。 但是中大型公司一般会选择选用 Mycat 这类 proxy 层方案，因为可能大公司系统和项目非常多，团队
阅读全文
摘要：前言在进行冷热分离的时候，需要将数据实时的复制在历史数据库中，我们使用的是binlog+canal的思想,将每次数据库数据的变更转换成消息发出来,然后再操作这些消息达到数据复制的在京东,实现同样功能的组件，叫binlake接下来详细说下: 1.Binlogmysql有多种日志，常见的有: 错误日志（
阅读全文
摘要：1、 PL/SQL语句块PL/SQL语句块只适用于Oracle数据库，使用时临时保存在客户端，而不是保存在数据库。基本语法: Sql代码 declare 变量声明、初始化 begin 业务处理、逻辑代码 exception 异常捕获 end; 变量声明：<变量名> <类型及长度> [:=<初始值>]
阅读全文
浙公网安备 33010602011771号