怎么办？用DolphinScheduler调度执行复杂的HiveSQL时无法正确识别符号
在使用Apache DolphinScheduler调度执行复杂的HiveSQL时，HQL包含多种海豚无法正确识别的符号，怎么办？本文提供了可行的思路和方法，供用户参考。 一、目的 在Hive中完成复杂JSON，既有对象还有数组而且数组中包含数组的解析后，原本以为没啥问题了，结果在DolphinSc ...
使用Apache SeaTunnel高效集成和管理SftpFile数据源
本文为Apache SeaTunnel已经支持的SftpFile Source Connector使用文档，旨在帮助读者理解如何高效地使用SFTP文件源连接器，以便轻松地使用Apache SeaTunnel集成和管理您的SftpFil数据源。 SftpFile 是指通过 SFTP（Secure Fi ...
云上分布式SQL Server，你值得拥有
云上分布式SQL Server，你值得拥有 介绍Microsoft SQL Azure 是微软的云关系型数据库，后端存储又称为云 SQL Server（Cloud SQL Server）。它构建在 SQL Server 之上，通过分布式技术提升传统关系型数据库的可扩展性和容错能力。 数据模型 （1） ...
mysql 常用知识点总结
MySQL 是一种广泛使用的关系型数据库管理系统（RDBMS），它基于结构化查询语言（SQL）。了解 MySQL 的语法对数据库管理和操作非常重要。以下是 MySQL 语法的详细完整解释，涵盖基本概念、创建表、查询、修改数据等内容。 1. 基础概念 数据库 (Database): 数据库是存储数据的 ...
Redis 管道技术
概述 Redis 是基于请求/响应协议的 TCP 服务。在客户端向服务器发送一个查询请求后，需要监听 Socket 的返回结果，该监听过程一直阻塞，直到服务器有结果返回。如果一次请求延迟20ms，则多次请求的网络延迟会不断累加。也就是说，Redis 的性能瓶颈主要体现在网络延迟上 Redis 的管道 ...
MySQL 大表拆分
概述 在实际工作中，在关系数据库（MySQL、PostgreSQL）的单表数据量上亿后，往往会出现查询和分析变慢甚至无法执行统计分析的情况。这时就需要将大表拆分为多个小表，将小表分布在多个数据库上，形成一个数据库集群。这样的话，一条 SQL 统计语句就可以在多台服务器上并发执行，然后将执行结果汇总， ...
Elasticsearch和向量数据库的快速入门
在比较Elasticsearch和向量数据库之前，让我们简要解释它们是什么：什么是Elasticsearch？Elasticsearch是一个流行的开源搜索和分析引擎，建立在Apache Lucene之上。它专为全文搜索、分析和日志分析用例而设计。主要特点：文档导向的NoSQL数据库 分布式和可扩展 ...
【数据库系统实用教程】 第一章 数据库系统概述
1.1 基本概念 1. 数据 什么是数据：数据是现实世界中客体在计算机中的抽象表示，具体的说，它是一种存储于计算机内的符号串。 数据的特性： (1) 数据表现形式的多样性 (2) 数据的可构造性：数据分为结构化数据、半结构化数据和非结构化数据。结构化数据有型（type）和值（value）之分。结构化 ...
使用MySQL Workbench进行数据库备份
1、打开MySQL Workbench 2、进行数据库连接配置 如果之前连过，会有历史记录，直接点击需要备份的连接即可 3、进入主界面后，选择左侧的Administration选项卡，然后点击Data Export；或者点击工具栏的Server——Data Export 4、选择要备份的数据库，默认 ...
【YashanDB知识库】单机升级典型问题及应急措施
升级典型问题 官网升级操作指引 离线升级，一般线上操作之前需要照着做一遍，但是由于数据量少、monit进程在测试环境没有启动等原因，一些操作、配置问题在测试过程中不会暴露，在生成操作的时候才暴露，下面3项是比较常见的容易遗漏的： 1、monit进程没停止引起升级失败 monit进程是什么 monit ...
SQLServer 2016之后的触发统计信息自动更新阈值算法变化
之前吐槽了很多年的统计信息自动更新阈值算法（操蛋的500 + (0.20 * n)），其实早在SQLServer 2016中就有优化过了，一直没有注意这个细节，汗颜！ https://www.cnblogs.com/wy123/p/5875237.htmlhttps://www.cnblogs.co ...
单机快速部署开源、免费的分布式任务调度系统——Apache DolphinScheduler
本文主要为大家介绍Apache DolphinScheduler的单机部署方式，方便大家快速体验。 环境准备 需要Java环境，这是一个老生常谈的问题，关于Java环境的安装与配置期望大家都可以熟练掌握。 验证java环境 java -version 下载安装包并解压 使用wget下载安装包 wge ...
《数据资产管理核心技术与应用》首次大型赠书活动圆满结束
《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著，在2024.9.11号晚上20:00，本书作者张永清联合锋哥聊数仓公众号和清华大学出版社一起，向各大大数据技术爱好者通过三轮互动活动赠送了3本正版图书。 《数据资产管理核心技术与应用》深入探讨数据资产管理的核心技术与应用 ...
SQL Server 中的 NUL 设备/NIL设备
SQL Server 中的 NUL 设备/NIL设备 在 SQL Server 中，有一个特殊的设备叫做 NUL（注意，不是 NULL），它类似于文件系统中的“黑洞”。NUL 设备类似于 Linux 系统中的 /dev/null，所有写入到 NUL 的数据都会被直接丢弃。 我们可以利用这个特性，在不 ...
MSSQL遍历数据库根据列值查询数据
--受理编号declare @slbh varchar(100),@searchColumn varchar(100)--设置被查询列值set @slbh='201703160009'--设置搜索列名set @searchColumn='SLBH'declare @tableName varchar ...
Apache SeaTunnel Committer 进阶指南
Apache SeaTunnel 作为一个开源的数据集成工具，旨在简化和加速海量数据的采集和传输。 社区的 Committer 是指拥有项目存储库的写权限的社区成员，即 Committer 可以自行修改代码、文档和网站，也可以合并其他成员的贡献。成为 Apache SeaTunnel Committ ...
Percona Toolkit 神器全攻略（性能类）
Percona Toolkit 神器全攻略（性能类） Percona Toolkit 神器全攻略系列共八篇，前文回顾： 前文回顾 Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略（实用类） Percona Toolkit 神器全攻略（配置类） Percona T ...
[20240911]查看超长视图的定义2.txt
[20240911]查看超长视图的定义2.txt--//昨天看了链接:https://www.anbob.com/archives/8295.html,提供了另外的方式获得超长定义试图的长文本。--//我重复验证看看.1.环境:SYS@book> @ver2 PORT_STRING : x86_64 ...
如何将图片转换为向量？（通过DashScope API调用）
本文介绍如何通过模型服务灵积DashScope将 图片转换为向量 ，并入库至向量检索服务DashVector中进行向量检索。 模型服务灵积DashScope，通过灵活、易用的模型API服务，让各种模态模型的能力，都能方便的为AI开发者所用。通过灵积API，开发者不仅可以直接集成大模型的强大能力，也可 ...
解锁数据潜力，天翼云TeleDB为企业数智蝶变添力赋能！
近日，第15届中国数据库技术大会（DTCC2024）在北京召开。大会以“自研创新 数智未来”为主题，重点围绕向量数据库与向量检索技术实践、数据治理与数据资产管理、云原生数据库开发与实践、特定场景下的数据库管理与优化、大数据平台建设等内容展开分享和探讨。 ...
