刷新
细说SQL与ETL之间的小秘密

博主头像 本文分享自华为云社区《GaussDB数据库SQL系列-SQL与ETL浅谈》,作者:Gauss松鼠会小助手2。 一、前言 在SQL语言中,ETL(抽取、转换和加载)是一种用于将数据从源系统抽取到目标系统的过程。ETL过程通常包括三个阶段:抽取(Extract)、转换(Transform)和加载(Loa ...

MySQL 日志管理

博主头像 错误日志 主要是用来记录MySQL服务器启动、运行或停止时遇到的问题,像使用 mysql --initialize初始化mysql的基础数据时候,默认给root用户生成的密码就放在错误日志里面。 错误日志的配置只需要一个配置选项即可: log_error :指定错误日志的存放位置和文件名 例如: l ...

数据资产入表在即,企业如何把握机遇,进行数据资产管理?

博主头像 数据作为新时代重要的生产要素之一,数据资产化的相关工作正在提速。自今年10月1日起,中国资产评估协会制定的《数据资产评估指导意见》正式施行。同时,《企业数据资源相关会计处理暂行规定》近期转为正式稿,也将于明年1月1日起施行。 《暂行规定》规定:企业使用的数据资源,符合《企业会计准则第6号——无形资产 ...

扫盲Kafka?看这一篇就够了!

博主头像 解耦、削峰:传统的方式上游发送数据下游需要实时接收,如果上游在某些业务场景:例如上午十点会流量激增至顶峰,那么下游资源可能会扛不住压力。但如果使用消息队列,就可以将消息暂存在消息管道中,下游可以按照自己的速度逐步处理; ...

【数据库概论】第二章 关系型数据库

博主头像 数据库关系模型是数据组织的核心,以关系为基础,表达实体和实体关系。关系模型通过域、笛卡尔积、关系模式构建二维表,形成数据库。完整性约束确保数据有效性,实体完整性、参照完整性和用户定义完整性保证数据质量。关系操作包括基本操作和数据语言,而关系代数提供了强大的查询手段。数据库关系模型为信息管理提供了结构... ...

Redis管道

博主头像 背景 Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。一个请求会遵循以下步骤: 1 客户端向服务端发送命令分四步(发送命令→命令排队→命令执行→返回结果),并监听Socket返回,通常以阻塞模式等待服务端响应。 2 服务端处理命令,并将结果返回给客户端。 上述两步称为:Roun ...

MySQL-03.基本的SELECT语句(基础)

博主头像 课程中,第二章是MySQL环境搭建,因为我之前安装过MySQL5.7的环境,然后就直接下载8.0版本的zip,直接安装的,就没看视频,所以没有第二章笔记。这里给出MySQL社区版下载地址。 C-03.基本的SELECT语句 1.SQL概述 1.1 SQL背景知识 1974年,IBM研究员发布了一篇揭 ...

【数据库概论】第一章 数据库概论

博主头像 概述数据库系统基本概念,包括数据、数据库、数据库管理系统(DBMS)和数据库系统(DBS),以及数据库的特点。进一步介绍了数据模型,包括概念模型、逻辑模型和物理模型。在概念模型中,详细阐述了实体、属性、码、实体型、实体集和联系等关键概念。强调数据模型的组成要素,包括数据结构、数据操作和数据的完整性约... ...

直播预约丨《实时湖仓实践五讲》第四讲:实时湖仓架构与技术选型

博主头像 如今,大规模、高时效、智能化数据处理已是“刚需”,企业需要更强大的数据平台,来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战,湖仓一体方案应运而生。 《实时湖仓实践五讲》是袋鼠云打造的系列直播活动,将围绕实时湖仓的建设趋势和通用问题,邀请奋战于企业数字化一线的核心产品&技术专家 ...

车企数据治理实践案例,实现数据生产、消费的闭环链路 | 数字化标杆

博主头像 随着业务飞速发展,某汽车制造企业业务系统数量、复杂度和数据量都在呈几何级数的上涨,这就对于企业IT能力和IT架构模式的要求越来越高。加之企业大力发展数字化营销、新能源车等业务,希望通过持续优化客户体验,创造可持续发展的数字化转型之路。 为更好应对数字化变革所带来的挑战,现有的竖井架构的数据体系难以满 ...

Run sql server in docker

Pull docker image Pull the latest image of SQL Server 2022 docker pull mcr.microsoft.com/mssql/server:2022-latest Run in container docker run -e "ACCE ...

【开源项目推荐】通用SQL数据血缘分析工具——Sqllineage

博主头像 大家好,我是独孤风,从本周开始,争取每周为大家带来一个优秀的开源项目推荐。 开源项目不仅促进了技术的发展和普及,还为全球范围内的开发者和用户社区建立了一个共享知识、协作和创新的平台。站在巨人的肩膀上才能看的更远,我们平时也应该多多关注开源项目,不仅学习其丰富的知识,也要找机会为开源事业做出自己的贡献 ...

ClickHouse(16)ClickHouse日志引擎Log详细解析

博主头像 日志引擎系列 这些引擎是为了需要写入许多小数据量(少于一百万行)的表的场景而开发的。 这系列的引擎有: StripeLog Log TinyLog 共同属性 引擎: 数据存储在磁盘上。 写入时将数据追加在文件末尾。 不支持突变操作,也就是更新。 不支持索引。 这意味着 `SELECT` 在范围查询时 ...

MYSQL EXPLAIN 执行计划

博主头像 EXPLAIN 语句来能够查看某个查询语句的具体执行计划,要搞懂 EPLATN 的各个输出项都有什么作用,从而可以有针对性的提升查询语句的性能。通过使用 EXPLAIN 关键字可以模拟优化器执行 SQL 查询语句,从而知道 MySQL 是如何处理 SQL 语句的。分析查询语句或是表结构的性能瓶颈。 ...

<1···232425···50>